Elasticsearch 聚合查询（上）

最新推荐文章于 2024-07-21 20:21:46 发布
最新推荐文章于 2024-07-21 20:21:46 发布
阅读量156 收藏
点赞数
分类专栏： 人在江湖之Elasticsearch 文章标签： elasticsearch 分组函数 聚合查询 having group by
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/forlinkext/article/details/131290171
版权

文章目录

avg 求平均

GET /person/_search
{
  "aggs": { // aggs 固定写法，表示聚合查询
    "avg_grade": {  // avg_grade 聚合查询后的字段名称（自定义）
    	"avg": { // avg 表示求平均（聚合的方式）
    		"field": "age" // 指定聚合查询的字段
    	} 
    }
  },
  "size":0 // 指定只返回聚合信息
}

索引 person 中 “age” 年龄字段的平均值，字段结果 为 “avg_grade”，“size” 为0，表示不查询具体的文档结果

{
    "took": 62,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "avg_grade": {
            "value": 30.19840478564307
        }
    }
}

平均年龄为：30.20，此查询类似于sql使用取平均的 avg 函数

cardinality 计数

{
    "size": 0,
    "aggs" :{
        "count":{
            "cardinality":{
                "field":"id"
            }
        }
    }
}

结果

{
    "took": 6,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "count": {
            "value": 1003
        }
    }
}

如果我们按sex进行计数，那么 count 就为 2。因为sex就只有两种值。我们示例是使用的字段中的id值，此值是不重复的值，所以计数为文档总数。

注意：此计数为近似值，其准确性可通过 precision_threshold 选项来控制，precision_threshold 支持最大值为 40000，超过将按 40000 计算。默认为 3000。是以内存换取准确性的做法。比如我们的实际数量为1003，如果我们设置 precision_threshold 为 100 或更小，将得到不一样的值。

max（最大）min（最小）值 sum（求和）

{
    "size": 0,
    "aggs" :{
        "max_age":{
            "max":{
                "field":"age"
            }
        }
    }
}

最大年龄

{
    "size": 0,
    "aggs" :{
        "min_age":{
            "min":{
                "field":"age"
            }
        }
    }
}

最小年龄

{
    "size": 0,
    "aggs" :{
        "sum_age":{
            "sum":{
                "field":"age"
            }
        }
    }
}

stats 一次统计最大、最小等

{
    "size": 0,
    "aggs" :{
        "stats_age":{
            "stats":{
                "field":"age"
            }
        }
    }
}

结果

{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "stats_age": {
            "count": 1003,
            "min": 10.0,
            "max": 50.0,
            "avg": 30.19840478564307,
            "sum": 30289.0
        }
    }
}

注：以上聚合都是针对数字类型

string_stats 字符串统计

{
    "size": 0,
    "aggs" :{
        "stats_age":{
            "string_stats":{
                "field":"name"
            }
        }
    }
}

结果

{
    "took": 48,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "stats_age": {
            "count": 1003,
            "min_length": 2,
            "max_length": 3,
            "avg_length": 2.1046859421734796,
            "entropy": 6.51155113253397
        }
    }
}

entropy：是一个负责的计算，是对聚合收集的所有项计算的香农熵值。熵量化了字段中包含的信息量。学过信息论的应该知道。

注：默认情况下 text 类型数据无法统计，建议统计 keyword 类型。text 类型需进行字段设置，但可能会占用大量内存。

terms 分组（桶）查询

将我们 person 索引中的文档，按 sex 字段进行分组

{
    "size": 0,
    "aggs" :{
        "counts":{
            "terms":{
                "field":"sex"
            }
        }
    }
}

结果

{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "counts": {
            "doc_count_error_upper_bound": 0,// 文档错误的数量
            "sum_other_doc_count": 0, // 不属于响应的 buckets 的文档数量
            "buckets": [ // 桶列表
                {
                    "key": 1, // 分组的值
                    "doc_count": 511 // 拥有该值的文档数
                },
                {
                    "key": 0,
                    "doc_count": 492
                }
            ]
        }
    }
}

默认情况下，我们也不能对 text 字段进行 terms 聚合（请使用 keyword 字段）。text 字段可以使用 fielddata 设置启用，但建议不要启用。

对聚合结果排序

{
   "size": 0,
   "aggs" :{
       "sex_aggs":{
           "terms":{
               "field":"age",
               "order":{
                   "_key":"asc"
               }
           }
       }
   }
}

_key 表示排序值，我们的示例为按排序值进行升序排列。示例表示查询索引 person ，按 age 分组，分组结果按照 年龄 升序排列。

执行结果

{
    "took": 2,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "sex_aggs": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 784,
            "buckets": [
                {
                    "key": 10,
                    "doc_count": 14
                },
                {
                    "key": 11,
                    "doc_count": 26
                },
                {
                    "key": 12,
                    "doc_count": 30
                },
                {
                    "key": 13,
                    "doc_count": 21
                },
                {
                    "key": 14,
                    "doc_count": 24
                },
                {
                    "key": 15,
                    "doc_count": 21
                },
                {
                    "key": 16,
                    "doc_count": 27
                },
                {
                    "key": 17,
                    "doc_count": 24
                },
                {
                    "key": 18,
                    "doc_count": 18
                },
                {
                    "key": 19,
                    "doc_count": 14
                }
            ]
        }
    }
}

其他参数

  • size：返回桶（buckets）的个数，默认是10。（所以我们示例的buckets数量为10）。
  • shard_size：默认 size * 1.5 + 10。size越大，意味着计算成本越高。
  • show_term_doc_count_error：是否计算文档错误计数。默认为 false
  • order：排序值，默认为每个存储桶的文档数
  • min_doc_count：存储桶中要返回的最小文档数。默认为 1。
  • shard_min_doc_count：每个分片上的存储桶中要返回的最小文档数。默认为 min_doc_count.
  • collect_mode：指定数据收集策略。支持或模式depth_first。breadth_first默认为breadth_first.

multi_terms 多字段分组

{
    "size": 0,
    "aggs" :{
        "sex_aggs":{
            "multi_terms":{
                "terms":[{
                    "field":"age"
                },{
                    "field":"sex"
                }]
            }
        }
    }
}

按 年龄和性别分组

执行结果

{
    "took": 29,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "sex_aggs": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 820,
            "buckets": [
                {
                    "key": [
                        24,
                        1
                    ],
                    "key_as_string": "24|1",
                    "doc_count": 23
                },
                {
                    "key": [
                        46,
                        0
                    ],
                    "key_as_string": "46|0",
                    "doc_count": 20
                },
                {
                    "key": [
                        44,
                        1
                    ],
                    "key_as_string": "44|1",
                    "doc_count": 19
                },
                {
                    "key": [
                        33,
                        0
                    ],
                    "key_as_string": "33|0",
                    "doc_count": 18
                },
                {
                    "key": [
                        49,
                        0
                    ],
                    "key_as_string": "49|0",
                    "doc_count": 18
                },
                {
                    "key": [
                        21,
                        1
                    ],
                    "key_as_string": "21|1",
                    "doc_count": 17
                },
                {
                    "key": [
                        22,
                        0
                    ],
                    "key_as_string": "22|0",
                    "doc_count": 17
                },
                {
                    "key": [
                        24,
                        0
                    ],
                    "key_as_string": "24|0",
                    "doc_count": 17
                },
                {
                    "key": [
                        26,
                        0
                    ],
                    "key_as_string": "26|0",
                    "doc_count": 17
                },
                {
                    "key": [
                        28,
                        0
                    ],
                    "key_as_string": "28|0",
                    "doc_count": 17
                }
            ]
        }
    }
}

range 范围聚合

{
    "size": 0,
    "aggs" :{
        "age_state":{ 
            "range":{
                "field": "age",
                "ranges":[{
                    "to": 10
                },{
                    "from": 10,
                    "to": 20
                },{
                    "from": 20
                }]
            }
        }
    }
}

结果：

{
    "took": 143,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 1003,
            "relation": "eq"
        },
        "max_score": null,
        "hits": []
    },
    "aggregations": {
        "age_state": {
            "buckets": [
                {
                    "key": "*-10.0",
                    "to": 10.0,
                    "doc_count": 0
                },
                {
                    "key": "10.0-20.0",
                    "from": 10.0,
                    "to": 20.0,
                    "doc_count": 219
                },
                {
                    "key": "20.0-*",
                    "from": 20.0,
                    "doc_count": 784
                }
            ]
        }
    }
}
没事儿写两篇
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ES聚合之Bucket聚合语法讲解
前者已逝，后者未至。
09-06 2545
掌握Bucket aggregations（分桶聚合，相当于MySQL中的分组聚合 ）语法，通过本文列举的各种案例举一反三。
14. python-es-8.3.3-多词项聚合multi_terms
我的博客
09-08 869
python-es-multi_terms
elasticsearch多字段聚合实现方式
huan的学习记录
11-15 8340
我们知道在`sql`中是可以实现 `group by 字段a,字段b`，那么这种效果在`elasticsearch`中该如何实现呢？此处我们记录在`elasticsearch`中的3种方式来实现这个效果。
es实现多字段聚合后再分页-附JAVA工具类
水中加点糖
04-06 4433
因为产品功能需要，需要实现很多数据的统计功能。产品经理在统计某些数据时为了不失用户体验，对于数据量可能大于几十条的数据都设计为了分页查询 好巧不巧，上面描述的这个需求的后端开发正好就落在了我的头上 刚开始没怎么注意，想着不就是从es提取数据嘛，看看官方API定能分分钟搞定,而且肯定有现成的聚合后再分页的api 产品说10天时间让开发完，我想着10天是不是瞧不起我。3天，就3天完全够了，第1天开发接口，还不能下班后在公司逗留、第2天让前端对接接口、第3天走测试。好在产品也是很给我面子，我说3天就3天（此段纯属
ElasticSearch多字段分组聚合VS mysql group by a,b
u011250186的博客
06-20 599
ElasticSearch多字段分组聚合
Elasticsearch-桶聚合查询详解
苍煜
04-03 2165
在之前我们详细面熟了es的查询用法，但是es还拥有强大的聚合查询功能，可以得到类似分组，直方图，折线图等数据组合。类似SQL的SUM、AVG、COUNT、GROUP BY Elasticsearch-02-es的restapi使用ES聚合查询类似SQL的GROUP by，一般统计分析主要分为两个步骤：es中满足特定条件的文档的集合，叫做桶。 桶的就是一组数据的集合，对数据分组后，得到一组组的数据，就是一个个的桶。ES中桶聚合，指的就是先对数据进行分组，ES支持多种分组条件，例如：支持类似SQL的group
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询过程解析 Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、...
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
Elasticsearch高级聚合查询
09-22
代码示例
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
ES 聚合查询结果转换成相应的List对象
07-11
ES 聚合查询结果转换成相应的对象集合，ES 聚合查询结果转换成相应的对象集合
ElasticSearch的多字段分组聚合的三种实现方式
热门推荐
IT- 研究者
03-26 1万+
ElasticSearch的多字段分组聚合的三种实现方式 一、ElasticSearch的分组聚合 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html#_multi_field_terms_aggregation 实现背景：实现类似SQL的group by功能： select team,age from a_perso
emacs使用multi-term作为terminal
齐格的技术博客
07-12 4368
emacs 使用multi-termemacs里的multi-term相当于mac下的iterm，是emacs下非常好用的terminal。载入multi-term.el文件emacs使用multi-term作为terminal，首先要将multi-term.el文件放到你emacs的load-path里。配置;; ------------------------------------------
ES聚合查询详解(二):桶聚合
弹指天下
10-19 5951
ES聚合查询主要分为3类：指标聚合、桶聚合和管道聚合。 本文主要是介绍其中桶聚合的相关使用。
Elasticsearch基础（三）
weixin_68441705的博客
07-17 1015
查询的DSL是一个大的JSON对象，包含下列属性：query：查询条件from和size：分页条件sort：排序条件highlight：高亮条件。
filebeat把日志文件上传到Es中配置（ES8版本）
最新发布
zhaojiyuan1024的博客
07-21 133
ES8版本默认生成的是数据流，不是默认的索引，这么配置生成的数据流名称就是idx_springboot，不是默认的filebeat了，如查索引发现生成长索引名是.ds-idx_springboot-2024.07.21-000001这种格式的，但我们配置视图时，选idx_springboot就行了。为保护我的个人隐私，有的生命周期名、索引名、模板名我做过修改，如发现有问题，可评论，或与我联系。
深入剖析CommonJS modules和ECMAScript modules
BDawn的专栏
07-18 1015
在 JavaScript 生态系统中，模块化编程已经成为构建大型、可维护应用的关键技术。CommonJS 和 ECMAScript Modules (ESM) 作为两种主要的模块化标准，各自承载着历史的重量和未来的愿景。本文将深入探讨这两种模块系统的设计哲学、语法差异、运行时行为以及在现代开发环境中的地位变迁。
【python】OpenCV—Coordinates Sorted Clockwise
bryant_meng
07-18 1272
调用 opencv 库，绘制轮廓的矩形边框，坐标顺序为右下→左下→左上→右上，我们实现一下转化为熟悉的 左上→右上→右下→左下 形式按照这样的顺序组织边界框坐标是执行透视转换或匹配对象角点(例如计算对象之间的距离)等操作的先决条件。
Easysearch、Elasticsearch、Amazon OpenSearch 快照兼容对比
改变世界，改变自己
07-19 1140
在当今的数据驱动时代，搜索引擎的快照功能在数据保护和灾难恢复中至关重要。本文将对 Easyearch、Elasticsearch 和 Amazon OpenSearch 的快照兼容性进行比较，分析它们在快照创建、恢复、存储格式和跨平台兼容性等方面的特点，帮助大家更好地理解这些搜索引擎的差异，从而选择最适合自己需求的解决方案。
es 聚合查询排除null_elasticsearch 聚合查询篇
06-02
好的，针对您的问题，您可以使用 Elasticsearch 的聚合查询中的“missing”聚合来排除 null 值。 具体来说，您可以使用以下的聚合查询语句： ``` { "aggs": { "field_name": { "missing": { "field": "your_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值