Elasticsearch中聚合的解释及使用

最新推荐文章于 2024-08-13 18:01:48 发布
最新推荐文章于 2024-08-13 18:01:48 发布
阅读量1.2k 收藏 3
点赞数 1
分类专栏： 中间件 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40728028/article/details/105246120
版权

什么是聚合：

聚合可以让我们极其方便的实现对数据的统计、分析。例如：

  • 什么品牌的手机最受欢迎？
  • 这些手机的平均价格、最高价格、最低价格？
  • 这些手机每月的销售情况如何？

实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现实时搜索效果。

基本概念

Elasticsearch中的聚合，包含多种类型，最常用的两种，一个叫桶，一个叫度量：

桶（bucket）

桶的作用，是按照某种方式对数据进行分组，每一组数据在ES中称为一个桶，例如我们根据国籍对人划分，可以得到中国桶、英国桶，日本桶……或者我们按照年龄段对人进行划分：010,1020,2030,3040等。

Elasticsearch中提供的划分桶的方式有很多：

  • Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组
  • Histogram Aggregation：根据数值阶梯分组，与日期类似
  • Terms Aggregation：根据词条内容分组，词条内容完全匹配的为一组
  • Range Aggregation：数值和日期的范围分组，指定开始和结束，然后按段分组
  • ……

bucket aggregations 只负责对数据进行分组，并不进行计算，因此往往bucket中往往会嵌套另一种聚合：metrics aggregations即度量

度量（metrics）

分组完成以后，我们一般会对组中的数据进行聚合运算，例如求平均值、最大、最小、求和等，这些在ES中称为度量

比较常用的一些度量聚合方式：

  • Avg Aggregation：求平均值
  • Max Aggregation：求最大值
  • Min Aggregation：求最小值
  • Percentiles Aggregation：求百分比
  • Stats Aggregation：同时返回avg、max、min、sum、count等
  • Sum Aggregation：求和
  • Top hits Aggregation：求前几
  • Value Count Aggregation：求总数
  • ……

代码实践：

实践数据准备

聚合为桶

首先，我们按照手机的品牌attr.brand.keyword来划分桶

GET /hyomin/_search
{
    "size" : 0,
    "aggs" : { 
        "brands" : { 
            "terms" : { 
              "field" : "attr.brand.keyword"
            }
        }
    }
}
  • size： 查询条数，这里设置为0，因为我们不关心搜索到的数据，只关心聚合结果，提高效率
  • aggs：声明这是一个聚合查询，是aggregations的缩写
    • brands：给这次聚合起一个名字，任意。
      • terms：划分桶的方式，这里是根据词条划分
        • field：划分桶的字段

结果：

{
  "took" : 124,
  "timed_out" : false,
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 10,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "brands" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "华为",
          "doc_count" : 4
        },
        {
          "key" : "小米",
          "doc_count" : 4
        },
        {
          "key" : "oppo",
          "doc_count" : 1
        },
        {
          "key" : "vivo",
          "doc_count" : 1
        }
      ]
    }
  }
}
  • hits：查询结果为空，因为我们设置了size为0
  • aggregations：聚合的结果
  • brands：我们定义的聚合名称
  • buckets：查找到的桶，每个不同的品牌字段值都会形成一个桶
    • key：这个桶对应的品牌字段的值
    • doc_count：这个桶中的文档数量

桶内度量

前面的例子告诉我们每个桶里面的文档数量，这很有用。 但通常，我们的应用需要提供更复杂的文档度量。 例如，每种品牌手机的平均价格是多少？

因此，我们需要告诉Elasticsearch使用哪个字段，使用何种度量方式进行运算，这些信息要嵌套在桶内，度量的运算会基于桶内的文档进行

现在，我们为刚刚的聚合结果添加 求价格平均值的度量：

GET /hyomin/_search
{
    "size" : 0,
    "aggs" : { 
        "brands" : { 
            "terms" : { 
              "field" : "attr.brand.keyword"
            },
            "aggs":{
                "avg_price": { 
                   "avg": {
                      "field": "price" 
                   }
                }
            }
        }
    }
}
  • aggs：我们在上一个aggs(brands)中添加新的aggs。可见度量也是一个聚合
  • avg_price：聚合的名称
  • avg：度量的类型，这里是求平均值
  • field：度量运算的字段

结果：

{
  "took" : 41,
  "timed_out" : false,
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 10,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "brands" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "华为",
          "doc_count" : 4,
          "avg_price" : {
            "value" : 3999.0
          }
        },
        {
          "key" : "小米",
          "doc_count" : 4,
          "avg_price" : {
            "value" : 3499.0
          }
        },
        {
          "key" : "oppo",
          "doc_count" : 1,
          "avg_price" : {
            "value" : 2799.0
          }
        },
        {
          "key" : "vivo",
          "doc_count" : 1,
          "avg_price" : {
            "value" : 2699.0
          }
        }
      ]
    }
  }
}

可以看到每个桶中都有自己的avg_price字段，这是度量聚合的结果

桶内嵌套桶

刚刚的案例中，我们在桶内嵌套度量运算。事实上桶不仅可以嵌套运算， 还可以再嵌套其它桶。也就是说在每个分组中，再分更多组。

比如：我们想统计每个品牌都生产了那些产品，按照attr.category.keyword字段再进行分桶

GET /hyomin/_search
{
    "size" : 0,
    "aggs" : { 
        "brands" : { 
            "terms" : { 
              "field" : "attr.brand.keyword"
            },
            "aggs":{
                "avg_price": { 
                   "avg": {
                      "field": "price" 
                   }
                },
                "categorys": {
                  "terms": {
                    "field": "attr.category.keyword"
                  }
                }
            }
        }
    }
}

部分结果：

{
  "took" : 19,
  "timed_out" : false,
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 10,
    "max_score" : 0.0,
    "hits" : [ ]
  },
  "aggregations" : {
    "brands" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "华为",
          "doc_count" : 4,
          "categorys" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "手机",
                "doc_count" : 3
              },
              {
                "key" : "笔记本",
                "doc_count" : 1
              }
            ]
          },
          "avg_price" : {
            "value" : 3999.0
          }
        },
        {
          "key" : "小米",
          "doc_count" : 4,
          "categorys" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "手机",
                "doc_count" : 2
              },
              {
                "key" : "电视",
                "doc_count" : 1
              },
              {
                "key" : "笔记本",
                "doc_count" : 1
              }
            ]
          },
          "avg_price" : {
            "value" : 3499.0
          }
        },
        {
          "key" : "oppo",
          "doc_count" : 1,
          "categorys" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "手机",
                "doc_count" : 1
              }
            ]
          },
          "avg_price" : {
            "value" : 2799.0
          }
        },
        {
          "key" : "vivo",
          "doc_count" : 1,
          "categorys" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "手机",
                "doc_count" : 1
              }
            ]
          },
          "avg_price" : {
            "value" : 2699.0
          }
        }
      ]
    }
  }
}
  • 我们可以看到，新的聚合categorys被嵌套在原来每一个brands的桶中。
  • 每个品牌下面都根据 attr.category.keyword字段进行了分组
  • 我们能读取到的信息：
    • 华为有4中产品
    • 华为产品的平均售价是 3999.0美元。
    • 其中3种手机产品，1种笔记本产品
所为xy
关注
专栏目录
ElasticSearch聚合排序
冲出仁川，走出马德里，故事还会再继续
06-10 382
根据之前的博客可知，ES对于聚合结果的默认排序规则有时并非是我们希望的。可以使用ES提供的sort子句进行自定义排序，有多种排序方式可供选择：按照聚合后的文档计数的大小进行排序按照聚合后的某个指标进行排序按照每个组的名称进行排序。
ElasticSearch聚合分页
冲出仁川，走出马德里，故事还会再继续
06-10 350
ES支持同时返回查询结果和聚合结果，前面的博客在介绍聚合查询时，查询结果和聚合结果各自封装在不同的子句中。但有时我们希望聚合的结果按照每组选出前N个文档的方式进行呈现，最常见的一个场景就是电商搜索，如搜索苹果手机6S，搜索结果应该展示手机6S型号中的一款手机即可，而不论该型号手机的颜色有多少种。另外，当聚合结果和查询结果封装在一起时，还需要考虑对结果分页的问题，此时之前的博客介绍的聚合查询就不能解决这些问题了。ES提供的Top hits聚合和Collapse。
Java中通过ElasticsearchRestTemplate进行聚合操作
su_su_su_su的博客
07-29 5927
@Resource private ElasticsearchRestTemplate elasticsearchRestTemplate; @Override public void getFirstCategory(String keyword) { // 组装Builder NativeSearchQueryBuilder nativeSearchQueryBuilder = new NativeSearchQueryB...
Elasticsearch聚合分析简介
希望我的博客，能解决你工作中的问题
02-23 469
1）环境准备 启动Elasticsearch https://blog.csdn.net/qq_36918149/article/details/104221934 启动Kinbana https://blog.csdn.net/qq_36918149/article/details/104224625 备注：一定要提前导入demo数据 2）哪些场景在用聚合分析？ 场景一：搜索页面预览统计...
ElasticSearch聚合操作详解
最新发布
qq_44027353的博客
08-13 1344
同理，聚合的前半部分 query 中如果有基于时间查询，或者后半部分 aggs 部分中有基于时间聚合的，建议都使用 datemath 方式做缓存处理以优化性能。如果多次执行同一 filter 操作，这将很有效，但是即便更改过滤器中的某一个值，也将意味着需要计算新的过滤器结果。一些满足特定条件的文档的集合放置到一个桶里，每一个桶关联一个key，类比Mysql中的group by操作。下方案例中，求和返回数据量最大的3个数据，D的数据在两个shard上，结果是6，但是返回的数据中没有D。
ElasticSearch内容聚合
书香水墨
02-09 910
ElasticSearch安装
ElasticsearchRestTemplate 聚合查询
nsa65223的专栏
07-13 1535
AggregationBuilders.terms(String name).field(String field) : 分组(group by)AggregationBuilders.max(String name).field(String field) : 最大值(max)AggregationBuilders.min(String name).field(String field) : 最小值(min)field : 设置用于此聚合的字段。相当于MySQL的聚合函数。
ElasticsearchRestTemplate Java聚合查询+操作索引+查询时10000条上限
u014792378的博客
11-26 7628
文章目录分组查询索引操作创建索引 & 字段映射删除索引 分组查询 private final ElasticsearchRestTemplate esRestTemplate; // select count(1), status from order group by status public void aggregate(){ // 查询条件 NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuil
java使用elasticsearch分组进行聚合查询过程解析
08-25
在 Java 中，我们可以使用 Elasticsearch 的 Java 客户端来实现分组聚合查询。 Elasticsearch 的聚合查询 Elasticsearch 的聚合查询可以对数据进行分组、聚合、排序等操作。聚合查询可以根据不同的字段进行分组，...
数据聚合的艺术：如何在 Elasticsearch 中使用聚合？
07-18
### 数据聚合的艺术：深入解析 Elasticsearch 中的聚合技术 Elasticsearch 作为一个强大的搜索与分析引擎，在处理海量数据方面表现出色。其内置的聚合功能更是数据分析领域的重要工具之一。本篇文章将详细探讨 ...
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
elasticsearch6 聚合查询普通分页demo
09-26
聚合查询分页测试termsAgg.size(2147483647); //指定最大统计显示多少行步骤1：全量聚合，size设置为： 2147483647。 ES5.X/6.X版本设置为2147483647 ，它等于2^31-1，请看该地方代码
ElasticSearch--聚合查询
Cloud的专栏
05-16 4552
聚合(aggs) 聚合一般用于数据的统计分析,类似于mysql的group by。 聚合里面有两个基本概念，一个叫桶，一个叫度量。 桶的作用，是按照某种方式对数据进行分组，每一组数据成为一个桶。比如对手机品牌分组，可以得到小米桶，华为桶。 桶的分组方式 Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组 Histogram Aggregation：根据数值阶梯分组，与日期类似 Terms Aggregation：根据词条内容分组，词条内容完
elasticsearch 聚合操作
weixin_43931625的博客
01-05 1866
elasticsearch聚合操作 ******************************* 相关类及接口 elasticsearchTemplate public class ElasticsearchTemplate extends AbstractElasticsearchTemplate implements ElasticsearchOperations, ...
Elasticsearch之指标，分桶，管道聚合之操作类ElasticsearchRestTemplate和RestHighLevelClient以及dsl
sadnskajf的博客
08-31 4590
Bucketing（桶聚合）每个桶都与一个键和一个文档标准相关联，通过桶的聚合查询，我们将得到一个桶的列表，即：满足条 件的文档集合。是按照某种方式对数据进行分组 比如对1，2，3，1,3使用Terms对其聚合，可以得到1桶，2桶，3桶。看出ES的分组方式相当强大，mysql的group by只能实现类似Terms Aggregation的分组效果，而ES还可以根据阶梯和范围来分组。Pipeline（管道） 对其他聚合的输出或相关指标进行二次聚合 比如Terms聚合后拿到了1，2，3桶这个时候我们可以在对他
ElasticSearch对象数组聚合操作
萌古大汗的专栏
01-06 1282
如果我们的文档对象结构如下： { "id":"123", "extra":[ { "name":"chinese", "score":100, "important":"high" }, { "name":"english", "score":70, "important":"low"
44.什么是聚合查询？如何进行聚合查询的去重查询？嘻哈的简写笔记——Elastic Search
嘻哈怪才的博客
12-08 1274
1.什么是聚合查询？ ES的聚合查询和MySQL的聚合查询类似，ES的聚合查询相比MySQL要强大的多，ES提供的统计数据的方式多种多样； 聚合查询就是对查询出的结果进行统计； 例如：求最大，最小，范围，平均值；去重； 2.如何进行聚合查询的去重查询？ 去重计数，即Cardinality，第一步先将返回的文档中的一个指定的field进行去重，统计一共有多少条； #聚合查询 GET /book/novel/_search { "aggs": { "count_province": {
Elasticsearch 7.X 聚合查询 及 ElasticsearchRestTemplate 操作
小毕超博客
10-30 4065
Elasticsearch 7.X 聚合查询
elasticsearch概念之索引、搜索和聚合
山鬼谣的专栏
03-06 3372
环境elasticsearch:5.2.2索引 —即：数据库我自己理解：存储数据的行为就叫做索引。通俗点就是插入数据。官网翻译的解释：Elasticsearch中存储数据的行为就叫做索引官网给出的和关系型数据库的类比图：Relational DB -> Databases -> Tables -> Rows -> Columns Elasticsearch -> Indices -> Types -
elasticsearch java中的聚合使用
02-29
在Java中使用Elasticsearch进行聚合查询，可以使用Elasticsearch的Java API。聚合查询主要使用AggregationBuilders进行构建。可以用它来创建各种聚合查询，如桶，指标，嵌套聚合等。下面是一个简单的示例代码，用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值