【ElasticSearch】聚合查询优化实践

最新推荐文章于 2024-06-27 20:30:00 发布
最新推荐文章于 2024-06-27 20:30:00 发布
阅读量1k 收藏 2
点赞数
分类专栏： ElasticSearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/starlywang/article/details/105019097
版权
【ElasticSearch】聚合查询优化实践一、ES聚合功能源码解析1. ES底层存储结构2. ES聚合查询过程二、业务聚合查询使用场景及其痛点三、针对痛点的优化一、ES聚合功能源码解析1. ES底层存储结构ES底层采用Lucene做存储，ES中的一个索引由多个segment组成，每个segment会建立自己的倒排索引用于数据查询。在Lucene 4.0 之后，通过构建FST前缀索引加速检...
摘要由CSDN通过智能技术生成

【ElasticSearch】聚合查询优化实践

一、ES聚合功能源码解析

1. ES底层存储结构

ES底层采用Lucene做存储，ES中的一个索引由多个segment组成，每个segment会建立自己的倒排索引用于数据查询。在Lucene 4.0 之后，通过构建FST前缀索引加速检索，如下图所示。

  • 字典索引为何不用HashMap来实现：HashMap消耗内存比FST要大很多，时间换空间，可把所有词项索引都放在内存
  • 在TermDictIndex中查找到对应TermDict的block位置后，再去磁盘上找Term，可以大大节约时间。其中，TermDictIndex常驻内存，而词项字典和文档列表存储在FileSystem中

首先可以通过减少倒排索引的体积以及对倒排索引进行压缩，有效减少segment Memory。
FST

2. ES聚合查询过程

ES实际执行文档收集、合并与排序的源码全部集中在QueryPhase中，方法为
org.elasticsearch.search.query.QueryPhase#execute(org.elasticsearch.search.internal.SearchContext)

 //创建聚合需要的AggregationContext,
     //里面包含了各个Aggregat
最低0.47元/天 解锁文章
太阳下的兰花草
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
Elasticsearch 聚合性能优化六大猛招
hellozhxy的博客
08-02 885
也就是说，新插入的文档在刷新到段（内存中）之前，是不能被搜索到的。同理，聚合的前半部分 query 中如果有基于时间查询，或者后半部分 aggs 部分中有基于时间聚合的，建议都使用 datemath 方式做缓存处理以优化性能。如下图所示，Elasticsearch 中的 1 个索引由一个或多个分片组成，每个分片包含多个segment（段），每一个段都是一个倒排索引。因此，在 CPU 资源不是瓶颈的前提下，如果想缩短响应时间，可以将多个聚合拆分为多个查询，借助：msearch 实现并行聚合。
Elasticsearch8.x聚合查询全面指南：从理论到实战
最新发布
qq_41934990的博客
06-27 914
类似于SQL中的GROUP BY操作，根据指定的条件对数据进行分组统计。可以进行嵌套分桶，即在一个分桶的基础上再进行细分。示例：按照手机的品牌进行分桶统计数量，再在小米手机的分桶基础上按照档次进行二次分桶。语法格式 指标聚合（Metrics Aggregations） 主要用于计算数值字段的统计信息，如平均值、最大值、最小值、求和、去重计数等。示例：计算某个班级、某个学科的最高分、最低分等。语法格式 聚合查询的特点 嵌套性：聚合查询支持嵌套，即一个聚合内部可以包含别的子聚合，实现复杂的数据挖掘和统计
最全面的Elasticsearch查询调优
weixin_43694201的博客
04-05 3056
将内存分配给文件系统缓存 ​ Elasticsearch严重依赖文件系统缓存来增加搜索速度，我们要尽量确保至少有一半的可用内存进入文件系统，以便Elasticsearch可以将索引的热点区域保留在屋里内存中。 使用更快的硬件。 创建合适的文档索引映射 ​ 避免连接，nested可以使查询慢几倍，父子关系可以使查询慢数百倍，我们可以尽量通过非规范化文档在不连接的情况下回答相同的问题，则可以显著的提升查询速度。 搜索尽可能搜索较少的字段 使用query_string，或者multi_ma..
Elasticsearch（ES）配置及优化
进击的小白
02-15 2787
在Elasticsearch中，索引的大小和存储能力取决于多个因素，包括文档大小、索引的分片数、硬件规格、查询负载和其他因素。索引和分片配置：索引和分片的数量和配置会对查询并发性能产生影响。如果索引和分片的数量太少，可能会导致查询性能不佳，而如果数量过多，可能会增加网络和节点之间的通信开销。因此，需要根据实际的查询负载和数据量进行合理的索引和分片规划。硬件资源：硬件资源，如CPU、内存、磁盘I/O等也会影响查询并发性能。
ES中的收集器（百分位/基数）
chuanyangwang的专栏
12-14 954
org.elasticsearch.search.query.QueryPhase#executeInternal final LinkedList<QueryCollectorContext> collectors = new LinkedList<>(); // whether the chain contains a collector that filters documents boolean h.
ElasticSearch + 架构解析 + 最佳实践
07-22
ElasticSearch 架构解析与最佳实践 ElasticSearch 作为一个基于 Lucene 的搜索引擎，它的架构设计和原理分析是非常重要的。下面我们来详细地分析 ElasticSearch 的架构和原理。 一、ElasticSearch 应用概述 ...
elasticsearch数据的查询sql
04-13
- 插件通过解析 SQL 语句并将其转化为 Elasticsearch 的 Query DSL 来实现这一功能，使得开发者可以使用熟悉的 SQL 语法进行索引、查询、聚合等操作。 2. **基本 SQL 查询** - SELECT: 类似于传统 SQL，Elastic...
Elasticsearch 7基于springboot的应用
08-12
**Elasticsearch 7 ...提供的 `elasticsearch.pdf` 文件可能包含了更深入的理论介绍和最佳实践，而 `maguo-es-jd` 和 `maguo-es-api` 文件可能包含具体的代码示例和 API 使用说明，对于初学者来说是很好的学习资源。
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
es-聚合性能优化
langsiming的博客
01-09 3486
优化方案： 启用 eager global ordinals 提升高基数聚合性能 应用场景： ● 基于 keyword，ip 等字段的分桶聚合，包含：terms聚合、composite 聚合等。 ● 基于text 字段的分桶聚合（前提条件是：fielddata 开启）。 ● 基于父子文档 Join 类型的 has_child 查询和 父聚合。 global ordinals 使用一个数值代表字段中的字符串值，然后为每一个数值分配一个 bucket（分桶） 插入数据时对索引进行预排序 ● ndex sort
Elasticsearch聚合优化 | 聚合速度提升5倍
热门推荐
铭毅天下Elasticsearch
02-04 3万+
1、聚合为什么慢？ 大多数时候对单个字段的聚合查询还是非常快的， 但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用 es 大量内存，从而导致 OOM 的情况发生。 实践应用发现，以下情况都会比较慢： 1）待聚合文档数比较多（千万、亿、十亿甚至更多）； 2）聚合条件比较复杂（多重条件聚合）； 3）全量聚合（翻页的场景用）。 2、聚合优化方案探讨 优化方案一
elasticsearch聚合性能优化
bottle123的专栏
11-27 3571
最近用es做数据统计时，增加了一个统计维度，发现查询性能下降了十几倍，查询es文档发现 Terms Aggregation 的计算方式主要有以下两种： map，在内存中构建映射表，利用映射表完成聚合计算，可以看得出，这种方式会比较消耗内存。 global_ordinals，每个桶都会有一个全局序列号，也就是指定域中的唯一值都会有一个全局序列号，根据这个序列号完成相关的聚合过程。计...
es分组查最大_优化聚合查询 | Elasticsearch: 权威指南 | Elastic
weixin_36414864的博客
01-13 1744
优化聚合查询edit“elasticsearch 里面桶的叫法和 SQL 里面分组的概念是类似的，一个桶就类似 SQL 里面的一个 group，多级嵌套的 aggregation，类似 SQL 里面的多字段分组(group by field1,field2, …​..)，注意这里仅仅是概念类似，底层的实现原理是不一样的。 －译者注”terms 桶基于我们的数据动态构建桶；它并不知道到底生成了多少桶...
亿级规模的Elasticsearch优化实战
weixin_45583158的博客
08-13 1659
本文根据王卫华老师在“高可用架构”微信群所做的《Elasticsearch实战经验分享》整理而成，转发请注明出处。王卫华，百姓网资深开发工程师、架构师，具有10年＋互联网...
ElasticSearch超强聚合查询(一)
ydw的博客
03-08 3万+
Elasticsearch聚合查询一 作者:ydw 地点:武汉 联系方式:hyl9900208@163.com Elasticsearch聚合查询一 聚合与搜索的概念 高阶概念 举例说明—关于汽车数据的相关聚合(Index=cars;type=transactions) 注意点:官方文档说明,如何设置fildData. 实战之—-查询那个颜色的汽车销量最好? ...
白话Elasticsearch47-深入聚合数据分析之Cardinality Aggs-cardinality算法之优化内存开销以及HLL算法
小工匠
08-25 1万+
文章目录概述官方说明precision_threshold优化准确率和内存开销HyperLogLog++ (HLL)算法性能优化 概述 继续跟中华石杉老师学习ES，第47篇 课程地址： https://www.roncoo.com/view/55 官方说明 Cardinality Aggregation：戳这里 precision_threshold优化准确率和内存开销 原始数据： ...
elasticsearch检索，聚合，建模，优化--《elasticsearch核心技术与实战》笔记(二)
Xjzzon的博客
07-13 597
检索相关 基于Term的查询 Term是表达语意的最小单位，在ES中，term查询，对输入不做分词，会将输入作为一个整体，在倒排索引中查找准确的词项，并且使用相关度算分公式为每个包含该词项的文档进行相关度算分。 第一个查询能查得到，第二个查询查不到。根据dynamic mapping，desc字段是text，会对文档内容进行分词器处理。所以录入iPone会在倒排索引里记录了iphone，所以能查得到。productId经过分词器处理后，会以’-'切割成一个一个字符存起来，所以term查询去找produ
欢聚时代Elasticsearch应用与优化实践
Elasticsearch的特点被深入剖析，包括其近实时索引、高级分析聚合查询能力、分布式架构、零配置、自动发现节点、索引自动分片与副本机制、RESTful接口、多租户支持、schema-free设计以及自动搜索负载均衡等功能。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值