Elasticsearch 聚合数据结果不精确
背景
近期我们项目中出现使用ES聚合某个索引的数据取TOP 10的数据和相同条件下查询所有数据然后按数据量排序取的TOP 10的数据不一致的问题。
下面我们简单分析一下这个问题,列出一些常见的解决方案。
问题
Elasticsearch分片机制
Elasticsearch索引(index)有一个主分片(primary shard)和0个或者多个分片副本组成。
Elasticsearch检索/聚合数据
query then fetch
query阶段:
- 客户端将请求发到协调节点(coordinate node);
- 协调节点将搜索请求广播到所有的primary shard 或者 replica。
- 每个shard在本地执行搜索并构建一个匹配文档大小为from + size的优先队列,每个分片返回各自优先队列中所有的docId和打分值个协调节点。
- 协调节点对各个分片分片返回的数据进行合并,排序,分页等操作,产出最终的结果集。
fetch阶段:
- 协调节点根据Query阶段产生的结果,去各个节点上查询docId实际的文档内容,最终有协调节点返回结果给客户端。
- coordinate node 对 doc id 进行哈希路由,将请求转发到对应的 node,此时会使用 round-robin 随机轮询算法,在 primary shard 以及其所有 replica 中随机选择一个,让读请求负载均衡。
- 接收请求的 node 返回 document 给 coordinate node 。
- coordinate node 返回 document 给客户端。
参考
https://www.elastic.co/cn/blog/understanding-query-then-fetch-vs-dfs-query-then-fetch
https://blog.csdn.net/a745233700/article/details/115585342?spm=1001.2014.3001.5506
问题分析
期望结果:
c = 40, a = 40 , d = 35
实际结果:
d = 35, c = 35, a = 30
导致聚合不精确的原因分析:
- 效率因素:每个分片的取值Top X,并不是汇总全部的 TOP X。
- 性能因素:ES 可以不每个分片Top X,而是全量聚合,但势必这会有很大的性能问题。
解决方案
提高聚合的精确度
size:是聚合结果的返回值,客户期望返回聚合排名10,size值就是 10。
shard_size: 每个分片上聚合的数据条数。shard_size 原则上要大于等于 size(若设置小于size,实则没有意义,elasticsearch 会默认置为size)
请求的size值越高,结果将越准确,但计算最终结果的成本也将越高。
方案
- 调大 shard_size的值
官方推荐: size * 1.5 + 10
使用场景:数据量大、分片数多的集群业务场景
shard_size 值越大,结果越趋近于精准聚合结果值。
此外,还可以通过show_term_doc_count_error参数显示最差情况下的错误值,用于辅助确定 shard_size 大小。
- 全量聚合(不推荐)
将size设置为分片支持的最大值来解决聚合的精度问题。
缺点:当分片的数据量极大,会消耗巨大的cpu用于对数据的计算排序,对性能有较大影响。
其他OLAP数据库
ClickHouse:对于追加类型的数据,如:日志数据,用户行为数据查询 聚合非常快
StarRocks:支持明细,聚合,更新,主键模型。
参考:https://blog.csdn.net/laoyang360/article/details/107133008?ops_request_misc=&request_id=6783e0d839e34d91ac465bedac26b860&biz_id=&utm_medium=distribute.pc_search_result.none-task-blog-2blogkoosearch~default-1-107133008-null-null.268v1control&utm_term=%E8%81%9A%E5%90%88%E4%B8%8D%E5%87%86&spm=1018.2226.3001.4450