Elasticsearch-search.max_buckets参数

概念

search.max_buckets：

The search.max_buckets cluster setting limits the number of buckets allowed in a single response.

集群设置限制了单个响应中允许的存储桶数。
先抛开该参数不说，在Elasticsearch中，桶，就是指定聚合的分组。
例如下面的数据：

假设以id聚合，就是5个桶；以name聚合就是3个桶；以age聚合就是4个桶。
现在就可以非常直观的理解search.max_buckets：最大能有几个桶。

验证

dtk_googs_info_daliy有1000多万数据，指定用goodsid字段聚合，同时指定桶为1。
可以看到，结果中只返回了一条数据，即一个桶，以及该桶里的数据量。
转为大家熟悉的SQL就是：

select goodsid,count(1) from dtk_googs_info_daliy group by goodsid limit 1

大家应该还会注意到，在返回结果中还有两个值
doc_count_error_upper_bound：表示没有在这次聚合中返回，但是可能存在的潜在聚合结果。简单的说，该值不为0证明聚合结果大概率是不准确的。
sum_other_doc_count：表示这次聚合中没有统计到的文档数。简单的说，就是没有参与本次聚合的文档数。

其实可以计算一下，doc_count=104，sum_other_doc_count=16326859。那么该索引总数应该是104+16326859=16326963

如果要查询所有分组的数据

GET dtk_goods_info_daily/_search
{
  "size": 0,
  "aggs": {
    "goods_id": {
      "terms": {
        "field": "goodsid",
        "size": 1000000          #该值>=count(distinct(goodsid))
      }
    }
  }
}

结论

该参数默认值为65536，但是在某些场景下为保证聚合后数据的完整性，我们可以适当调整该参数的值已达目的。如果数据量过大，可以配合query条件+agge的方式实现。

彩蛋

在ES聚合查询过程中，该参数的调整更像是博弈的过程。
search.max_buckets是集群级参数，针对所有索引生效，如果是临时统计，可以调整大，查询后再改回原始值。
但是需要主要，如果数据量巨大，该参数巨大，查询时会触发熔断机制，甚至OOM。