Elasticsearch 聚合数据结果不精确问题解决方案

Elasticsearch 聚合数据结果不精确

背景

近期我们项目中出现使用ES聚合某个索引的数据取TOP 10的数据和相同条件下查询所有数据然后按数据量排序取的TOP 10的数据不一致的问题。

下面我们简单分析一下这个问题，列出一些常见的解决方案。

问题

Elasticsearch分片机制

Elasticsearch索引（index）有一个主分片（primary shard）和0个或者多个分片副本组成。

Elasticsearch检索/聚合数据

query then fetch

query阶段：

1. 客户端将请求发到协调节点（coordinate node）；
2. 协调节点将搜索请求广播到所有的primary shard 或者 replica。
3. 每个shard在本地执行搜索并构建一个匹配文档大小为from + size的优先队列，每个分片返回各自优先队列中所有的docId和打分值个协调节点。
4. 协调节点对各个分片分片返回的数据进行合并，排序，分页等操作，产出最终的结果集。

fetch阶段：

1. 协调节点根据Query阶段产生的结果，去各个节点上查询docId实际的文档内容，最终有协调节点返回结果给客户端。

• coordinate node 对 doc id 进行哈希路由，将请求转发到对应的 node，此时会使用 round-robin 随机轮询算法，在 primary shard 以及其所有 replica 中随机选择一个，让读请求负载均衡。
• 接收请求的 node 返回 document 给 coordinate node 。
• coordinate node 返回 document 给客户端。

参考

https://www.elastic.co/cn/blog/understanding-query-then-fetch-vs-dfs-query-then-fetch

https://blog.csdn.net/a745233700/article/details/115585342?spm=1001.2014.3001.5506

问题分析

期望结果：

c = 40, a = 40 , d = 35

实际结果：

d = 35, c = 35, a = 30

导致聚合不精确的原因分析：

• 效率因素：每个分片的取值Top X，并不是汇总全部的 TOP X。
• 性能因素：ES 可以不每个分片Top X，而是全量聚合，但势必这会有很大的性能问题。

解决方案

提高聚合的精确度

size：是聚合结果的返回值，客户期望返回聚合排名10，size值就是 10。

shard_size: 每个分片上聚合的数据条数。shard_size 原则上要大于等于 size（若设置小于size，实则没有意义，elasticsearch 会默认置为size）

请求的size值越高，结果将越准确，但计算最终结果的成本也将越高。

方案

• 调大 shard_size的值

官方推荐: size * 1.5 + 10

使用场景：数据量大、分片数多的集群业务场景

shard_size 值越大，结果越趋近于精准聚合结果值。

此外，还可以通过show_term_doc_count_error参数显示最差情况下的错误值，用于辅助确定 shard_size 大小。

• 全量聚合（不推荐）

将size设置为分片支持的最大值来解决聚合的精度问题。

缺点：当分片的数据量极大，会消耗巨大的cpu用于对数据的计算排序，对性能有较大影响。
其他OLAP数据库
ClickHouse：对于追加类型的数据，如：日志数据，用户行为数据查询 聚合非常快
StarRocks：支持明细，聚合，更新，主键模型。

参考：https://blog.csdn.net/laoyang360/article/details/107133008?ops_request_misc=&request_id=6783e0d839e34d91ac465bedac26b860&biz_id=&utm_medium=distribute.pc_search_result.none-task-blog-2_blogkoosearch~default-1-107133008-null-null.268^v1control&utm_term=%E8%81%9A%E5%90%88%E4%B8%8D%E5%87%86&spm=1018.2226.3001.4450