Elasticsearch7.x DSL语法之聚合查询

最新推荐文章于 2024-06-12 18:30:00 发布
最新推荐文章于 2024-06-12 18:30:00 发布
阅读量8.6k 收藏 17
点赞数 1
分类专栏： ElasticSearch 文章标签： elasticsearch dsl 聚合查询
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38011415/article/details/111867541
版权

程序员小强总结的 ElasticSearch专题超全总结篇在这里:传送门
结合官网资料，做了更详细的实际使用总结。
从单机版安装到集群高可用生产环境搭建、基本概念(索引,分片,节点,倒排索引…)、DSL语法实践、分词器(内置+中文)、SpringBoot整合实战、仿京东商品搜索实战实现。

1.前言

聚合查询是开发中常见的场景，一般包含。求和、最大值、最小值、平均值、总记录数等。

注意事项：text类型是不支持聚合的。

1.1.初始测试数据

学习SQL中常用的案例，老师信息表
字段信息：name(姓名) | age(年龄) | job(工作岗位) | sex(性别1-男，2-女) | salary（薪资）

#老师信息
#注：每个岗位都是神圣的，以下测试数据，纯属虚构，仅测试需要
PUT /teacher_info/_bulk
{ "index" : {  "_id" : "101" } }
{ "name" : "Tom","age":32,"job":"Math","sex":1,"salary": 3000 }
{ "index" : {  "_id" : "102" } }
{ "name" : "Zhangsan","age":22,"job":"Java","sex":1,"salary": 5000}
{ "index" : {  "_id" : "103" } }
{ "name" : "lisi","age":29,"job":"sports","sex":1,"salary": 4000 }
{ "index" : {  "_id" : "104" } }
{ "name" : "wangwu","age":25,"job":"sports","sex":1,"salary": 4300}
{ "index" : {  "_id" : "105" } }
{ "name" : "Mary","age":30,"job":"H5","sex":2,"salary": 4800}
{ "index" : {  "_id" : "106" } }
{ "name" : "Luccy","age":33,"job":"English","sex":2,"salary": 5500 }
{ "index" : {  "_id" : "107" } }
{ "name" : "Xiaomei","age":23,"job":"English","sex":2,"salary": 5800 }
{ "index" : {  "_id" : "108" } }
{ "name" : "Xiaogao","age":27,"job":"Php","sex":1,"salary": 3900}
{ "index" : {  "_id" : "109" } }
{ "name" : "Dabai","age":26,"job":"Chinese","sex":1,"salary": 4000 }
{ "index" : {  "_id" : "110" } }
{ "name" : "Xiaowei","age":25,"job":"C++","sex":1,"salary": 4500 }

1.2.ES聚合分析查询的写法

在查询请求体中以aggregations节点语法如下：**

"aggregations" : {
    "<aggregation_name>" : {                                 <!--聚合的名字 -->
        "<aggregation_type>" : {                             <!--聚合的类型 -->
            <aggregation_body>                               <!--聚合体：对哪些字段进行聚合 -->
        }
        [,"meta" : {  [<meta_data_body>] } ]?                <!--元 -->
        [,"aggregations" : { [<sub_aggregation>]+ } ]?       <!--在聚合里面在定义子聚合 -->
    }
}

注：aggregations 也可简写为 aggs

2.求和(Sum)

案例：求所有老师的薪资总和
注：“size”: 0 ，参数表示不用返回文档列表，只返回汇总的数据即可

GET teacher_info/_search
{
  "size": 0,
  "aggs": {
    "sum_salary": {
      "sum": {
        "field":"salary"
      }
    }
  }
}

在这里插入图片描述

3.最大值(Max)

示例：求薪资最大值

GET teacher_info/_search
{
  "size": 0,
  "aggs": {
    "max_salary": {
      "max": {
        "field":"salary"
      }
    }
  }
}

4.最小值(Min)

案例：求薪资最低值

GET teacher_info/_search
{
  "size": 0,
  "aggs": {
    "min_salary": {
      "min": {
        "field":"salary"
      }
    }
  }
}

5.平均值(Avg)

案例：求薪资平均值

GET teacher_info/_search
{
  "size": 0,
  "aggs": {
    "avg_salary": {
      "avg": {
        "field":"salary"
      }
    }
  }
}

6.去重数值(cardinality)

类似mysql的 count distinct
案例：老师一共教了多少学科

GET teacher_info/_search
{
    "size": 0,
    "aggs" : {
        "job_count" : {
            "cardinality" : {
                "field" : "job.keyword"
            }
        }
    }
}

由于在创建索引的时候，没有先创建Mapping, job这个字段默认是 text类型，而聚合统计不知道text类型，
所以这里需要使用“job.keyword”
在这里插入图片描述

字符串类型的参数，在没有指定mapping的情况下，默认生成的类型如上图。
在这里插入图片描述

7.多值查询-最大最小和平均值

案例：查询最低、最高和平均工资

GET teacher_info/_search
{
  "size": 0,
  "aggs": {
    "max_salary": {
      "max": {
        "field": "salary"
      }
    },
    "min_salary": {
      "min": {
        "field": "salary"
      }
    },
    "avg_salary": {
      "avg": {
        "field": "salary"
      }
    }
  }
}

在这里插入图片描述

8.返回多个聚合值(Status)

stats 统计，请求后会直接显示多种聚合结果，总记录数，最大值，最小值，平均值，汇总值

GET employees_info/_search
{
  "size": 0,
  "aggs": {
    "salary_stats": {
      "stats": {
        "field":"salary"
      }
    }
  }
}

在这里插入图片描述

9.百分比(Percentiles)

对指定字段的值按从小到大累计每个值对应的文档数的占比，返回指定占比比例对应的值。**

GET teacher_info/_search
{
  "size": 0,
  "aggs": {
    "age_percentiles": {
      "percentiles": {
        "field": "age"
      }
    }
  }
}

默认按照[ 1, 5, 25, 50, 75, 95, 99 ]来统计
在这里插入图片描述

返回结果可以理解为：占比为25%的文档的age值 <= 25，或反过来：age<=25的文档数占总命中文档数的25%
因为是默认返回的 ，[ 1, 5, 25, 50, 75, 95, 99 ] 所以 可能存在重复值

key-value形式返回
添加参数"keyed": false
在这里插入图片描述

10.文档值占比(Percentile Ranks)

这里指定值，查占比。注意占比是小于文档值的比例

GET teacher_info/_search
{
    "size": 0,
    "aggs" : {
        "age_percentiles" : {
            "percentile_ranks" : {
                "field" : "age", 
                "values" : [ 22, 25, 33]
            }
        }
    }
}

下图含义

  • 小于age<=22的占比 5%
  • 小于age<=25的占比 30%
  • 小于age<=33的占比 100%
    在这里插入图片描述

11.中位数查询

案例：求工资中位数

POST teacher_info/_search
{
    "size": 0,
    "aggs": {
        "load_time_outlier": {
            "percentiles": {
                "field": "salary",
                "percents" : [ 50, 99],
                "keyed": false
            }
        }
    }
}

在这里插入图片描述

12.分组取Top N 之(Top Hits)

案例1：根据性别分组。展示工资排名top3

GET /teacher_info/_search?size=0
{
    "aggs": {
        "top_tags": {
            "terms": {
                "field": "sex"
            },
            "aggs": {
                "top_sales_hits": {
                    "top_hits": {
                        "sort": [
                            {
                                "salary": {
                                    "order": "desc"
                                }
                            }
                        ],
                        "_source": {
                            "includes": [ "name", "sex","salary" ]
                        },
                        "size" : 3
                    }
                }
            }
        }
    }
}

在这里插入图片描述

13.分组之聚合

案例：根据性别分组求平均工资

GET /teacher_info/_search
{
  "size":0,
  "aggs": {
    "top_tags": {
      "terms": {
        "field": "sex"
      },
      "aggs": {
        "avg_salary": {
          "avg": {
            "field": "salary"
          }
        }
      }
    }
  }
}

14.总记录数查询

类似mysql的count

#方式1：统计年龄 >=25 的记录数
GET teacher_info/_count
{
  "query": {
    "range": {
      "age":{
        "gte": 25
      }
    }
  }
}

#方式2：统计年龄 >=25 的记录数
GET teacher_info/_search?size=0
{
  "query": {
    "range": {
      "age":{
        "gte": 25
      }
    }
  }
}

在这里插入图片描述

附录

官方示例：传送门

程序员小强
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ElasticSearchDSL查询模板之二(二重聚合)
neujs的博客
06-04 895
前一篇文章中分享了按日期聚合和按关键字聚类的方法，可以查询一段时期的所有数据中，每一天有多少数据，每一个类别有多少数据。但是实际应用之中，业务场景往往更加复杂，一般情况这种聚合都是不够的，例如需要看某一天某种类的销售数据，某个类别下所有所选日期的数据，这就需要在之前聚类的基础上进行二次聚类。另外推荐大家一个软件，postman，可以利用这个软件直接写json，模拟真实的http/https请求环境
elasticSearch查询语句DSL
06-27
在这篇资源中，我们将详细介绍如何使用DSL...最后，我们将分享一些实用技巧和最佳实践，帮助您充分发挥DSL在Elasticsearch中的优势。我们将探讨性能优化、查询调试和索引优化等关键主题，以提升查询效率和搜索准确性。
elasticsearch篇：数据聚合
viperd的博客
03-15 1531
默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。elasticsearch中分词器（analyzer）的组成包含三部分：character filters：在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；还有ik_smarttokenizer filter：将tokenizer输出的词条做进一步处理。
Elasticsearch 7.X 聚合查询 及 ElasticsearchRestTemplate 操作
小毕超博客
10-30 3883
Elasticsearch 7.X 聚合查询
理解Es的DSL语法（二）：聚合
最新发布
糖拌西红柿
06-12 1114
es的聚合语法、aggs，date_histogram聚合
Elasticsearch查询及聚合类DSL语句宝典
Karka_的博客
08-15 164
随着使用es场景的增多，工作当中避免不了去使用es进行数据的存储，在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作，DSL对SE的意义就像SQL对MySQL一样，学会如何编写查询语句决定了后期是否能完全驾驭ES，所以至关重要，本专题主要是分享常用的DSL语句，拿来即用。
Elasticsearch DSL查询语法-Metrics聚合
后端开发
05-29 272
1.Metrics聚合 语法： #嵌套聚合查询 POST /book/_search { "size": 0, "aggs": { "categoryaggs": { "terms": { #对书目的分类聚合降序排序 "field": "category", "order": { "_count": "desc" }, "size": 10 }, "aggs": { #嵌
Elasticsearch 的 DSL查询
专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
04-21 1135
Elasticsearch 的 DSL（Domain Specific Language，领域特定语言）查询是一种使用 JSON 格式表达的查询语言，用于与 Elasticsearch 集群进行复杂的搜索交互。DSL 查询提供了丰富的查询类型、过滤条件、排序选项、分页控制、聚合功能等，使得用户能够精确地描述想要从索引中检索的数据，并获得结构化的搜索结果。
Elasticsearch之聚合查询介绍与使用（附RestAPI代码案例）
热门推荐
小威的博客
04-12 3万+
本篇文章将介绍Elasticsearch搜索引擎之聚合查询的使用，这块内容不作为面试中的重点。
边学边实战系列（六）：ElasticSearch 聚合查询原理与实践
民工哥的博客
05-29 634
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了技术原理、安装和基础使用、索引管理、 DSL 查询相关的知识点。今天我将详细的为大家介绍 ElasticSearch 聚合查询相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！除了查询之外，最常用的聚合了，ElasticSearch提供了三种聚合方式：桶聚合（Bucket Aggregation)，指标聚合（Met...
Elasticsearch7.x学习资料，非常全面
06-30
1-尚硅谷项目课程系列之Elasticsearch.pdf：这很可能是尚硅谷教育机构提供的一个关于Elasticsearch 7.x 的项目课程资料。这份PDF可能会涵盖从基础到进阶的各种主题，如Elasticsearch的安装与配置、索引管理、数据...
elasticsearch-7.17.3
06-09
Elasticsearch 7.17.3 是一个高度可扩展的开源全文搜索引擎，以其强大的分布式、实时搜索和分析能力而闻名。它基于Lucene构建，但提供了更高级别的API和服务，使得管理和操作大规模数据变得更加简单。这个版本的...
django-elasticsearch-dsl-drf：将Elasticsearch DSL与Django REST框架集成
02-05
1. **Elasticsearch DSL**：理解DSL语法，如何编写查询和聚合，以及如何处理复杂的数据结构。 2. **Django REST框架**：掌握RESTful API的设计原则，了解Django REST框架的核心组件，如序列化器、视图和路由器。 3. ...
Java_使用SQL查询Elasticsearch.zip
05-22
首先，Elasticsearch虽然原生支持JSON格式的查询语句（即DSL），但为了满足开发人员对SQL的熟悉度和习惯，出现了诸如Elasticsearch SQL这样的项目，它允许我们使用SQL语法来操作ES数据。 1. **Elasticsearch SQL...
最新版linux elasticsearch-7.14.1-linux-x86_64.tar.gz
09-07
- 查询DSL：支持丰富的查询语法，如匹配查询、范围查询、聚合查询等。 6. **监控与日志**： - 使用`/_cluster/health`、`/_nodes/stats`等API检查集群状态和节点性能。 - 默认的日志位于`logs`目录，可配置日志...
elasticsearch数据的查询sql
04-13
- 插件通过解析 SQL 语句并将其转化为 Elasticsearch 的 Query DSL 来实现这一功能，使得开发者可以使用熟悉的 SQL 语法进行索引、查询、聚合等操作。 2. **基本 SQL 查询** - SELECT: 类似于传统 SQL，Elastic...
【DSL】ES+DSL 查询语法
weixin_41613094的博客
07-06 1万+
ES+DSL 查询语法学习的复习
Python Elasticsearch DSL 查询、过滤、聚合操作实例
weixin_30247159的博客
07-21 532
专栏地址： github.com/yongxinz/te… Elasticsearch 基本概念 Index：Elasticsearch用来存储数据的逻辑区域，它类似于关系型数据库中的database 概念。一个index可以在一个或者多个shard上面，同时一个shard也可能会有多个replicas。 Document：Elasticsearch里面存储的实体数据，类似于关系数据中一个tabl...
ES 聚合查询DSL语法 与 java实现
sssssccc的博客
02-27 1616
1.聚合介绍 聚合（aggregations）可以实现对文档数据的统计、分析、运算。聚合常见的有三类： 桶（Bucket）聚合：用来对文档做分组 •TermAggregation：按照文档字段值分组 •Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等 •Avg：求平均值 •Max：求最大值 •Min：求最小值 •Stats：同时求max、min、avg、sum等 管道（pipelin
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员小强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值