Elasticsearch8.x聚合查询全面指南：从理论到实战

最新推荐文章于 2024-08-16 12:09:30 发布
最新推荐文章于 2024-08-16 12:09:30 发布
阅读量1.3k 收藏 16
点赞数 10
分类专栏： 微服务 es springcloud 文章标签： elasticsearch es聚合查询 es DSL metric聚合实战 terms实战 histogram实战 range实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41934990/article/details/140011774
版权
微服务 同时被 3 个专栏收录
14 篇文章 1 订阅
订阅专栏
springcloud
13 篇文章 0 订阅
订阅专栏
es
5 篇文章 0 订阅
订阅专栏

聚合查询的概念

  • 聚合查询（Aggregation Queries）是Elasticsearch中用于数据汇总和分析的查询类型。
  • 它不同于普通的查询，而是用于执行各种聚合操作，如计数、求和、平均值、最小值、最大值、分组等。

聚合查询的分类

分桶聚合（Bucket Aggregations）

  • 类似于SQL中的GROUP BY操作，根据指定的条件对数据进行分组统计。

  • 可以进行嵌套分桶，即在一个分桶的基础上再进行细分。

  • 示例：按照手机的品牌进行分桶统计数量，再在小米手机的分桶基础上按照档次进行二次分桶。

  • 语法格式

GET /index/_search
{
  "size": 0,
  "aggs": {
    "aggregation_name": {
      "bucket_type": {
        "bucket_options": {
          "bucket_option_name": "bucket_option_value",
          ...
        },
        "aggs": {
          "sub_aggregation_name": {
            "sub_aggregation_type": {
              "sub_aggregation_options": {
                "sub_aggregation_option_name": "sub_aggregation_option_value",
                ...
              }
            }
          }
        }
      }
    }
  }
}
#解析
# index: 替换为要执行聚合查询的索引名称。
# aggregation_name: 替换为自定义的聚合名称。
# bucket_type: 替换为特定的桶聚合类型（如 terms、date_histogram、range 等）。
# bucket_option_name 和 bucket_option_value: 替换为特定桶聚合选项的名称和值。
​
# sub_aggregation_name: 替换为子聚合的名称。
# sub_aggregation_type: 替换为特定的子聚合类型（如 sum、avg、max、min 等）。
# sub_aggregation_option_name 和 sub_aggregation_option_value: 替换为特定子聚合选项的名称和值

指标聚合（Metrics Aggregations）

  • 主要用于计算数值字段的统计信息，如平均值、最大值、最小值、求和、去重计数等。

  • 示例：计算某个班级、某个学科的最高分、最低分等。

  • 语法格式

GET /index/_search  
{
  "size": 0,
  "aggs": {
    "aggregation_name": {
      "aggregation_type": {
        "aggregation_field": "field_name"
        // 可选参数
      }
    }
    // 可以添加更多的聚合
  }
}
​
# 解析
#index：要执行聚合查询的索引名称。
#size: 设置为 0 来仅返回聚合结果，而不返回实际的搜索结果，这里将hits改为0表示返回的原始数据变为0
#aggs：指定聚合操作的容器。
​
#aggregation_name：聚合名称，可以自定义。
#aggregation_type：聚合操作的类型，例如 terms、avg、sum 等。
#aggregation_field：聚合操作的目标字段，对哪些字段进行聚合

聚合查询的特点

  • 嵌套性：聚合查询支持嵌套，即一个聚合内部可以包含别的子聚合，实现复杂的数据挖掘和统计需求。

  • 灵活性：可以用于多种场景的数据分析，满足各种业务需求。

  • 高效性：Elasticsearch的聚合查询基于倒排索引和优化的数据结构，使得聚合操作能够高效地执行。

常见聚合用途及应用场景

聚合指标（Aggregation Metrics）：

- Avg Aggregation：计算文档字段的平均值。

- Sum Aggregation：计算文档字段的总和。

- Min Aggregation：找到文档字段的最小值。

- Max Aggregation：找到文档字段的最大值。

聚合桶（Aggregation Buckets）：

  • Terms Aggregation：基于字段值将文档分组到不同的桶中。
    • 语法格式
GET /index/_search
{
  "size": 0,
  "aggs": {
    "aggregation_name": {
      "bucket_type": {
        "bucket_options": {
          "bucket_option_name": "bucket_option_value",
          ...
        },
        "aggs": {
          "sub_aggregation_name": {
            "sub_aggregation_type": {
              "sub_aggregation_options": {
                "sub_aggregation_option_name": "sub_aggregation_option_value",
                ...
              }
            }
          }
        }
      }
    }
  }
}
#解析
#index: 替换为要执行聚合查询的索引名称。
#aggregation_name: 替换为自定义的聚合名称。
#bucket_type: 替换为特定的桶聚合类型（如 terms、date_histogram、range 等）。
#bucket_option_name 和 bucket_option_value: 替换为特定桶聚合选项的名称和值。
​
#sub_aggregation_name: 替换为子聚合的名称。
#sub_aggregation_type: 替换为特定的子聚合类型（如 sum、avg、max、min 等）。
#sub_aggregation_option_name 和 sub_aggregation_option_value: 替换为特定子聚合选项的名称和值
  • Date Histogram Aggregation：按日期/时间字段创建时间间隔的桶。
    • 语法格式
GET /index/_search
{
  "size": 0,
  "aggs": {
    "date_histogram_name": {
      "date_histogram": {
        "field": "date_field_name",
        "interval": "interval_expression"
      },
      "aggs": {
        "sub_aggregation": {
          "sub_aggregation_type": {}
        }
      }
    }
  }
}
​
#解析
#index：替换为要执行聚合查询的索引名称。
#date_histogram_name：替换为自定义的 date_histogram 聚合名称。
#date_field_name：替换为要聚合的日期类型字段名。
#interval_expression：指定用于分桶的时间间隔。时间间隔可以是一个有效的日期格式（如 1d、1w、1M），也可以是一个数字加上一个时间单位的组合（如 7d 表示 7 天，1h 表示 1 小时）。
#sub_aggregation：指定在每个日期桶内进行的子聚合操作。
#sub_aggregation_type：替换单独子聚合操作的类型，可以是任何有效的子聚合类型。
  • Range Aggregation：根据字段值的范围创建桶。
    • 语法格式
GET /index/_search
{
  "size": 0,
  "aggs": {
    "range_name": {
      "range": {
        "field": "field_name",
        "ranges": [
          { "key": "range_key_1", "from": from_value_1, "to": to_value_1 },
          { "key": "range_key_2", "from": from_value_2, "to": to_value_2 },
          ...
        ]
      },
      "aggs": {
        "sub_aggregation": {
          "sub_aggregation_type": {}
        }
      }
    }
  }
}
​
#解析
# index：替换为要执行聚合查询的索引名称。
# range_name：替换为自定义的 range 聚合名称。
# field_name：替换为要聚合的字段名。
# ranges：指定范围数组，每个范围使用 key、from 和 to 参数进行定义。
# key：范围的唯一标识符。
# from：范围的起始值（包含）。
# to：范围的结束值（不包含）。
# sub_aggregation：指定在每个范围内进行的子聚合操作。
# sub_aggregation_type：替换单独子聚合操作的类型，可以是任何有效的子聚合类型。

Query DSL指标聚合多案例介绍实战

创建索引

PUT /sales
{
  "mappings": {
    "properties": {
      "id":{
        "type":"keyword"
      },
      "product": {
        "type": "keyword"
      },
      "sales": {
        "type": "integer"
      }
    }
  }
}

批量插入数据

POST /sales/_bulk
{"index": {}}
{"product": "iPhone", "sales": 4}
{"index": {}}
{"product": "Samsung", "sales": 60}
{"index": {}}
{"product": "iPhone", "sales": 100}
{"index": {}}
{"product": "Samsung", "sales": 80}
{"index": {}}
{"product": "小米手机", "sales": 50}
{"index": {}}
{"product": "小米手机", "sales": 5000}
{"index": {}}
{"product": "小米手机", "sales": 200}

指标聚合实战

根据商品名称分组
GET /sales/_search
{
  "aggs": {
    "phone_group": {
      "terms": {
        "field": "product"
      }
    }
  }
}

在这里插入图片描述

计算每组的销售总量，使用terms聚合和sum聚合来
GET /sales/_search
{
  "size": 0,
  "aggs": {
    "product_sales": {
      "terms": {
        "field": "product"      
      },
      "aggs": {
        "total_salers": {
          "sum": {
            "field": "sales"
          }
        }
      }
    }
  }
}

在这里插入图片描述

计算总和
GET /sales/_search
{
  "aggs": {
    "sum_sales": {
      "sum": {
        "field": "sales"
      }
    }
  }
}

在这里插入图片描述

计算不同品牌的平均值
GET /sales/_search
{
  "aggs": {
    "product_sales": {
      "terms": {
        "field": "product"
      },
      "aggs": {
        "avg_sales": {
          "avg": {
            "field": "sales"
          }
        }
      }
    }
  }
}

在这里插入图片描述

计算总商品的平均值
GET /sales/_search
{
  "size": 0,
  "aggs": {
    "avg_sales": {
      "avg": {
        "field": "sales"
      }
    }
  }
}

在这里插入图片描述

计算不同品牌的手机的最高低价
GET /sales/_search
{
  "size": 0,
  "aggs": {
    "product_sales": {
      "terms": {
        "field": "product"
      },
      "aggs": {
        "max_sales": {
          "max": {
            "field": "sales"
          }
        }
      }
    }
  }
}
​
​
GET /sales/_search
{
  "size": 0,
  "aggs": {
    "product_sales": {
      "terms": {
        "field": "product"
      },
      "aggs": {
        "max_sales": {
          "min": {
            "field": "sales"
          }
        }
      }
    }
  }
}

在这里插入图片描述

查找最大最小值
GET /sales/_search
{
  "size": 0,
  "aggs": {
    "max_sales": {
      "max": {
        "field": "sales"
      }
    }
  }
}
​
GET /sales/_search
{
  "size": 0,
  "aggs": {
    "max_sales": {
      "min": {
        "field": "sales"
      }
    }
  }
}

在这里插入图片描述

Query DSL 桶聚合Terms案例实战

使用 terms 聚合查询将图书按销售数量进行分桶，并获取每个分桶内的销售数量总和。
GET /book_sales/_search
{
  "size": 0,
  "aggs": {
    "book_buckets": {
      "terms": {
        "field": "book_title"
      },
      "aggs": {
        "total_sales": {
          "sum": {
            "field": "sales_count"
          }
        }
      }
    }
  }
}

在这里插入图片描述

Query DSL 桶聚合Date Histogram介绍和案例实战

使用 date_histogram 聚合查询将订单按日期进行分桶，并计算每个分桶内的订单金额总和
GET /book_sales/_search
{
  "size": 0,
  "aggs": {
    "saler_per_day": {
      "date_histogram": {
        "field": "date",
        "calendar_interval": "day",
        "format": "yyyy-MM-dd"
      },
      "aggs": {
        "total_saler": {
          "sum": {
            "field": "sales_count"
          }
        }
      }
    }
  }
}

在这里插入图片描述

Query DSL 桶聚合Range介绍和案例实战

使用 range 聚合查询将商品按价格范围进行分桶，并计算每个分桶内的商品数量

GET /book_sales/_search
{
  "size": 0,
  "aggs": {
    "sales_ranges": {
      "range": {
        "field": "sales_count",
        "ranges": [
          {
            "to": 50
          },
          {
            "from": 50,
            "to": 100
          },
           {
            "from": 100,
            "to": 200
          },
          {
            "from": 200
          }
        ]
      }
    }
  }
}

在这里插入图片描述

通过本篇文章的深入解析，我们不仅掌握了Elasticsearch聚合查询的基本概念与分类，还通过一系列实战案例学习了如何有效地运用分桶聚合与指标聚合进行数据挖掘与统计分析。从简单的平均值、求和计算到复杂的多层级分桶与时间序列分析，Elasticsearch的聚合功能展现了其在大规模数据处理与复杂业务分析场景中的强大能力。
记住，无论是进行市场趋势分析、用户行为洞察还是日志数据的深入挖掘，合理设计聚合查询都是解锁数据价值的关键。随着实践的深入，不断探索高级特性与优化策略，你将能更加灵活高效地应对各种数据分析挑战。
总之，Elasticsearch聚合查询是通往数据智能分析的重要桥梁，它不仅能够帮助我们快速洞察数据分布特征，还能驱动业务决策更加精准高效。希望本指南能成为你掌握Elasticsearch聚合查询技能的坚实基石，开启数据驱动决策的新篇章。
更多精彩内容，请关注以下公众号
在这里插入图片描述

double_lifly
关注
专栏目录
ElasticSearch查询之聚合查询
qq_15058425的博客
05-07 1487
一、ES的demo数据如下： 二、简单聚合，获得平均分 GET /student/student/_search { "aggs": { "avg_score": { "avg": { "field": "score" } } } } 查询结果： java实现： /** * 聚合查询avg * *GET /s...
elasticsearch聚合查询
warrah 南极狼
02-08 393
es 聚合复杂应用的实际运营，项目中实际用到的
【ElasticSearch-聚合查询】ES聚合统计及springboot对比实现
qq_42890164的博客
01-26 2761
一文详解Elasticsearch中涉及的桶聚合、指标聚合、管道聚合及其所属各类函数使用及springboot对比实现
ES 聚合查询
最新发布
yuxuan89814的专栏
08-16 1005
ES聚合查询
es数据聚合
CV工程师呀
02-09 2952
1.kibana实现 1.1.聚合的种类 聚合常见的有三类： 桶（Bucket）聚合：用来对文档做分组 TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组 Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等 Avg：求平均值 Max：求最大值 Min：求最小值 Stats：同时求max、min、avg、sum等 管道（pipeline）聚合：其它聚合的结
elasticsearch 查询聚合操作
qq_50761817的博客
04-16 1795
2、模糊查询 关键词：wildcard 匹配出状态码status 以 5 开头的日志 3、指定某个值 同时匹配多个字段 关键词：multi_match query 要查询的值 fields 要匹配的字段【数组】 匹配出 字段code和status 为400的所有日志 4、一个字段查询多个值 关键词：terms { “字段”：[ 要匹配的多个值 ] } 5、多种组合查询 关键词：bool must should range size sort 6、es默认时间格式查询/ java时间查
elasticsearch的聚合查询
奇想派
07-05 1331
elasticsearch里包含很多语法，其中聚合查询尤其重要，本文罗列了几乎全部的聚合操作和案例。
ES聚合查询
weixin_38871825的博客
12-09 1894
aggregation_type> - 聚合类型，代表我们想要怎么统计数据，主要有两大类聚合类型，桶聚合和指标聚合，这两类聚合又包括多种聚合类型，例如：指标聚合：sum、avg。：即对组内的数据进行统计，例如：计算总数、求平均值等等，接上面的例子，学生都按专业分班了，那么就可以统计每个班的学生总数， 这个统计每个班学生总数的计算，就是组内聚合计算。：对查询的数据首先进行一轮分组，可以设置分组条件，例如：新生入学，把所有的学生按专业分班，这个分班的过程就是对学生进行了分组。_count - 按文档数排序。
Elasticsearch系列---聚合查询原理
黄鹰的专栏
04-17 1125
概要 本篇主要介绍聚合查询的内部原理，正排索引是如何建立的和优化的，fielddata的使用，最后简单介绍了聚合分析时如何选用深度优先和广度优先。 正排索引 聚合查询的内部原理是什么，Elastichsearch是用什么样的数据结构去执行聚合的？用倒排索引吗？ 工作原理 我们了解到倒排索引对搜索是非常高效的，但是在排序或聚合操作方面，倒排索引就显得力不从心，例如我们举个实际案例，假设我们有两个文档...
Elasticsearch实战指南：从下载到高级应用全解析.pdf
07-03
### Elasticsearch 实战指南：从下载到高级应用全解析 #### 一、Elasticsearch 下载与安装 在大数据与云计算的时代背景下，Elasticsearch 成为了处理海量数据的强大工具。它是一款基于 Lucene 构建的开源搜索引擎...
Elasticsearch7.x学习资料，非常全面
06-30
这份PDF可能会涵盖从基础到进阶的各种主题，如Elasticsearch的安装与配置、索引管理、数据导入导出、查询语法、聚合分析、性能优化等。此外，它可能还会涉及到Elasticsearch在实际项目中的应用，如日志分析、监控...
ElasticSearch_House:ElasticSearch的实战项目--搜房实战
05-08
ElasticSearch_House 是一个基于Elasticsearch的实战项目，主要目标是实现搜房功能，即在房地产数据中进行高效、精准的搜索。这个项目利用了Elasticsearch的强大搜索引擎功能，为用户提供快速、灵活的数据查询体验。...
Elasticsearch搜索引擎实战指南：从入门到精通，构建强大搜索功能
# 1. Elasticsearch搜索引擎概述 Elasticsearch是一个开源、分布式、基于Lucene的搜索和分析引擎...- **可扩展性：**Elasticsearch可以轻松地添加或删除节点，以满足不断增长的数据和查询需求。 # 2. Elasticsearch数
【PHP数据库搜索优化指南】：从原理到实战，提升搜索效率
[【PHP数据库搜索优化指南】：从原理到实战，提升搜索效率](https://img-blog.csdnimg.cn/66d785ec54b74c28afb47b77698a1255.png) # 1. PHP数据库搜索基础** 数据库搜索是PHP开发中一项基本任务，它允许我们从...
Elasticsearch学习-- 聚合查询
CelineT的博客
09-03 3023
missing：对空值赋默认值（设置成500，上图中表示，将price缺失的数据的price设置成500）min_doc_count：设置成1，表示输出结果doc_value大于等于1的数据（过滤0）因为聚合查询使用的是doc_values的正排索引，tags.keyword有正排索引。2）对分桶后的tags取平均price（在哪个的基础上进行操作，就放在同一级）1）查询price>4000的平均price和所有商品的平均price。doc_vaules是基于磁盘的，filed_data是基于内存的。
elasticsearch高级功能之聚合查询
nandao158的博客
01-03 5529
elasticsearch高级功能之聚合查询
Elasticsearch聚合查询
37749442的博客
10-19 304
Elasticsearch 聚合查询(aggs) elasticsearch es sum求和统计用法 在查询出来的记录中，如果需要对记录的数据进行再次操作（比如求和、平均值、最大值。。。），就需要用到聚合查询。 1、求和 第一种方法： GET qrydev-*/_search { "query": { //这里根据业务查询的要求 }, "aggs": { "my_sum": { "sum": { "field": "TranNum" } } } } 第二种方法： GET q
ElasticSearch 聚合查询
wanson2015的博客
05-15 537
桶（bucket）和指标（metric） （1）桶　　 　　a、简单来说桶就是满足特定条件的文档的集合。 　　b、当聚合开始被执行，每个文档里面的值通过计算来决定符合哪个桶的条件，如果匹配到，文档将放入相应的桶并接着开始聚合操作。 　　c、桶也可以被嵌套在其他桶里面。 （2）指标 　　a、桶能让我们划分文档到有意义的集合，但是最终我们需要的是对这些桶内的文档进行一些指标的计算。分桶是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

double_lifly

点喜欢就是最好的打赏！！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值