概念
search.max_buckets:
The search.max_buckets cluster setting limits the number of buckets allowed in a single response.
集群设置限制了单个响应中允许的存储桶数。
先抛开该参数不说,在Elasticsearch中,桶,就是指定聚合的分组。
例如下面的数据:
假设以id聚合,就是5个桶;以name聚合就是3个桶;以age聚合就是4个桶。
现在就可以非常直观的理解search.max_buckets:最大能有几个桶。
验证
dtk_googs_info_daliy有1000多万数据,指定用goodsid字段聚合,同时指定桶为1。
可以看到,结果中只返回了一条数据,即一个桶,以及该桶里的数据量。
转为大家熟悉的SQL就是:
select goodsid,count(1) from dtk_googs_info_daliy group by goodsid limit 1
大家应该还会注意到,在返回结果中还有两个值
doc_count_error_upper_bound:表示没有在这次聚合中返回,但是可能存在的潜在聚合结果。简单的说,该值不为0证明聚合结果大概率是不准确的。
sum_other_doc_count:表示这次聚合中没有统计到的文档数。简单的说,就是没有参与本次聚合的文档数。
其实可以计算一下,doc_count=104,sum_other_doc_count=16326859。那么该索引总数应该是104+16326859=16326963
如果要查询所有分组的数据
GET dtk_goods_info_daily/_search
{
"size": 0,
"aggs": {
"goods_id": {
"terms": {
"field": "goodsid",
"size": 1000000 #该值>=count(distinct(goodsid))
}
}
}
}
结论
该参数默认值为65536,但是在某些场景下为保证聚合后数据的完整性,我们可以适当调整该参数的值已达目的。如果数据量过大,可以配合query条件+agge的方式实现。
彩蛋
在ES聚合查询过程中,该参数的调整更像是博弈的过程。
search.max_buckets是集群级参数,针对所有索引生效,如果是临时统计,可以调整大,查询后再改回原始值。
但是需要主要,如果数据量巨大,该参数巨大,查询时会触发熔断机制,甚至OOM。