es 聚合性能优化

和月

于 2024-03-16 11:06:43 发布

阅读量1.5k

点赞数 29

文章标签： elasticsearch 大数据搜索引擎 es es 聚合优化 es 性能优化

本文链接：https://blog.csdn.net/weixin_59367598/article/details/136757794

版权

本文介绍了Elasticsearch中如何通过启用eager_global_ordinals来提升高基数聚合的性能，包括其工作原理、应用场景以及如何调整刷新频率、利用索引排序和节点查询缓存进行优化。此外，还提到了如何通过拆分聚合和使用msearch实现并行处理以提高查询效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

启用 eager global ordinals 提升高基数聚合性能

适用场景：高基数聚合。高基数聚合场景中的高基数含义：一个字段包含很大比例的唯一值。

本质上就是通过预先加载全局字典到内存中来减少磁盘I/O操作，从而提高查询速度。以空间换时间。

global ordinals 中文翻译成全局序号，是一种数据结构，应用场景如下：

global ordinals 使用一个数值代表字段中的字符串值，然后为每一个数值分配一个 bucket（分桶）。

global ordinals 的本质是：启用 eager_global_ordinals 时，会在刷新（refresh）分片时构建全局序号。这将构建全局序号的成本从搜索阶段转移到了数据索引化（写入）阶段。

创建索引的同时开启：eager_global_ordinals。

PUT /my_index
{
  "mappings": {
    "properties": {
      "tags": {
        "type": "keyword",
        "eager_global_ordinals": true
      }
    }