ElasticSearch之聚合简介Bucket和Metric

已于 2022-02-14 11:21:06 修改
阅读量1.2k 收藏 1
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch 搜索引擎 大数据 java 全文检索
于 2022-02-13 17:21:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44692700/article/details/122910382
版权

ElasticSearch之聚合Bucket和Metrix简介

一、聚合（Aggregation）

  • ES除了提供搜索以外，还提供了针对ES数据进行统计分析的功能
    • 实时性高
    • Hadoop统计分析功能时效性为(T+1)
  • 通过聚合，我们会得到一个数据的概览，是分析和总结全套数据，而不是寻找某个文档
  • 性能高，只需要一条语句，就能从ElasticSearch中得到分析结果，无需在客户端自己实现分析逻辑

在Kibana中的可视化报表，都是基于ES的聚合分析功能。

二、聚合的分类

  1. Bucket Aggregation：一些满足特定条件的文档的集合
  2. Metric Aggregation：数学运算，对字段进行统计分析
  3. Pipeline Aggregation：对聚合结果进行二次聚合
  4. Matrix Aggregation：支持对多个字段的操作并提供一个结果矩阵

三、Bucket和Metric

比如在Mysql中我们编写一条SQL语句
select count(1) from people group by sex;
count(1)就可以理解为Metric，是一系列统计方法。
group by sex可以理解为Bucket，一组满足条件的文档

Bucket
在这里插入图片描述
比如，可以将商品分为高中低三档，每一档对应一个桶，桶中放的是相关的商品。
同时我们也能对高档桶中根据不同的规则进行继续分桶，如评分、评价、价格区间等等。

Metrix
metrix基于数据计算的结果，除了支持在字段上进行计算，同样也支持在脚本产生的结果上进行计算。

大多数Metrix是数学计算，仅输出一个值
min/max/sum/avg/cardinality

部分metrix支持输出多个数值
stats/percentiles/percentile_ranks

1.Bucket示例

首先我们准备一个index，包含三个字段。

put people/_mapping
{
  "properties": {
    "name": {
      "type": "keyword"
    },
    "age":{
      "type":"long"
    },
    "sex":{
      "type":"keyword"
    }
  }
}

进行bucket聚合查询，分别统计people索引中的性别分组和年龄分组。
其中，aggs中的字段为自定义分桶名称,terms中指定需要分桶的字段。

get people/_search
{
  "size":0,
  "aggs":{
    "性别":{
      "terms":{
        "field": "sex"
      }
    },
    "年龄":{
      "terms":{
        "field": "age"
      }
    }
  }
}

得到结果如下：

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "年龄" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : 18,
          "doc_count" : 2
        },
        {
          "key" : 13,
          "doc_count" : 1
        },
        {
          "key" : 17,
          "doc_count" : 1
        }
      ]
    },
    "性别" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "0",
          "doc_count" : 2
        },
        {
          "key" : "1",
          "doc_count" : 2
        }
      ]
    }
  }
}

由结果我们可以看到：
根据年龄分桶，18岁的有2条数据，13和17的各有1条。
根据性别分桶，0和1各有2条。
并且会根据我们自定义的分桶名称进行显示

2.Metric示例

接下来我们根据性别分桶结果，得到桶中的平均年龄、最大年龄和最小年龄

get people/_search
{
  "size":0,
  "aggs":{
    "性别":{
      "terms":{
        "field": "sex"
      },
      "aggs":{
        "平均年龄":{
          "avg":{
            "field":"age"
          }
        },
        "最大年龄":{
          "max":{
            "field":"age"
          }
        },
        "最小":{
          "min":{
            "field":"age"
          }
        }
      }
    }
  }
}

得到结果：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "性别" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "0",
          "doc_count" : 2,
          "最小" : {
            "value" : 17.0
          },
          "平均年龄" : {
            "value" : 17.5
          },
          "最大年龄" : {
            "value" : 18.0
          }
        },
        {
          "key" : "1",
          "doc_count" : 2,
          "最小" : {
            "value" : 13.0
          },
          "平均年龄" : {
            "value" : 15.5
          },
          "最大年龄" : {
            "value" : 18.0
          }
        }
      ]
    }
  }
}

可以看到结果：
在性别为0的桶中，最大年龄为18，平均年龄17.5，最小年龄17。
在性别为1的桶中，最大年龄为18，平均年龄15.5，最小年龄13.

3.嵌套

我们不仅能对数据进行分桶和计算，也可以对分桶结果进行进一步分桶。

比如我现在需要先对年龄分桶，并分析出桶中的平均年龄，再获取每个桶中的年龄分布

get people/_search
{
  "size":0,
  "aggs":{
    "性别":{
      "terms":{
        "field": "sex"
      },
      "aggs":{
        "平均年龄":{
          "avg":{
            "field":"age"
          }
        },
        "年龄分布":{
          "terms":{
            "field":"age"
          }
        }
      }
    }
  }
}

得到结果：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "性别" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "0",
          "doc_count" : 2,
          "平均年龄" : {
            "value" : 17.5
          },
          "年龄分布" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : 17,
                "doc_count" : 1
              },
              {
                "key" : 18,
                "doc_count" : 1
              }
            ]
          }
        },
        {
          "key" : "1",
          "doc_count" : 2,
          "平均年龄" : {
            "value" : 15.5
          },
          "年龄分布" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : 13,
                "doc_count" : 1
              },
              {
                "key" : 18,
                "doc_count" : 1
              }
            ]
          }
        }
      ]
    }
  }
}

从上述结果我们可以看到，不仅对年龄进行了分桶，还对桶中的数据进行了平均值计算，然后对桶中数据再一次做了分桶处理。这就是聚合功能的嵌套用法。

4.stats

stats提供了多种Metric计算，不用单独指定。指定stats会给到我们count、min、max、avg、sum。

get people/_search
{
  "size":0,
  "aggs":{
    "性别":{
      "terms":{
        "field": "sex"
      },
      "aggs":{
        "年龄分布":{
          "terms":{
            "field":"age"
          }
        },
        "stats计算age":{
          "stats":{
            "field":"age"
          }
        }
      }
    }
  }
}

得到结果

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "性别" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "0",
          "doc_count" : 2,
          "stats计算age" : {
            "count" : 2,
            "min" : 17.0,
            "max" : 18.0,
            "avg" : 17.5,
            "sum" : 35.0
          },
          "年龄分布" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : 17,
                "doc_count" : 1
              },
              {
                "key" : 18,
                "doc_count" : 1
              }
            ]
          }
        },
        {
          "key" : "1",
          "doc_count" : 2,
          "stats计算age" : {
            "count" : 2,
            "min" : 13.0,
            "max" : 18.0,
            "avg" : 15.5,
            "sum" : 31.0
          },
          "年龄分布" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : 13,
                "doc_count" : 1
              },
              {
                "key" : 18,
                "doc_count" : 1
              }
            ]
          }
        }
      ]
    }
  }
}
程大帅气
关注
专栏目录
Elasticsearch聚合之bucket桶
大牛之路
07-01 6712
存储桶聚合不会像指标聚合那样计算字段上的指标，而是创建存储桶。 每个桶与标准相关联（取决于聚合类型），该标准确定当前上下文中的文档是否“落入”其中。 换句话说，存储桶有效地定义了文档集。 除了桶本身之外，桶聚合还计算并返回“落入”每个桶的文档数 adjacency_matrix adjacency_matrix类型的聚合可以返回类似于集合的操作，例如A,B,C三个筛选条件，聚合请求就会返回符合A的...
ElasticSearch练习二：聚合语法学习（aggs、bucket、metric、hitogram、date hitogram）
Yal_insist的博客
01-04 1025
ElasticSearch练习二：聚合语法学习（aggs、bucket、metric、hitogram、date hitogram）
Elasticsearch Bucket & Metric 聚合分析及嵌套聚合
爱死亡机器人
03-05 465
Bucket & Metric Aggregation Metric 一些系列的统计方法 Bucket 一组满足条件的文档 Aggregation 的语法 Aggregation 属于 Search 的一部分。一般情况下，建议将其 Size 指定为 0 demo Mertric Aggregation 单值分析：只输出一个分析结果 min，max，avg，sum Cardinality（类似 distinct Count） 多值分析：输出多个分析结果 stats ,extended
ElasticSearch学习笔记(五)Bucket聚合、Metric聚合
最新发布
挑灯日记 记录自己
09-03 805
ElasticSearch学习笔记(一)倒排索引、ES和Kibana安装、索引操作ElasticSearch学习笔记(二)文档操作、RestHighLevelClient的使用ElasticSearch学习笔记(三)RestClient操作文档、DSL查询文档、搜索结果排序ElasticSearch学习笔记(四)分页、高亮、RestClient查询文档。
32_ElasticSearch bucket与metric两个核心概念
架构师的成长之路的博客
03-28 1456
32_ElasticSearch bucket与metric两个核心概念更多干货分布式实战（干货）spring cloud 实战（干货）mybatis 实战（干货）spring boot 实战（干货）React 入门实战（干货）构建中小型互联网企业架构（干货）python 学习持续更新ElasticSearch 笔记一、两个核心概念：bucket和metricbucket：一个数据分组metric...
Elasticsearch(四) -- 聚合查询(Bucket)
qq_44447372的博客
08-01 2595
说明:该博客对应的Elasticsearch 的版本为7.8.0;测试工具为postman 概念:Bucket可以理解为一个桶,符合要求的放入一个桶中,相当于mysql中的groupBy 本篇博客主要针对于terms aggs, filter aggs,histogram aggs,range aggs,date aggs五个关键字展开. 一,创建索引数据,参考Elasticsearch(三)--Metric(指标) Aggregation语法 Aggregation是search的一部分,一
ElasticSearch基础6：Bucket桶聚合
昕友软件博客
01-14 403
Bucket aggregations 桶聚合 Bucket聚合不像metrics聚合那样计算字段上的度量，而是创建文档的Bucket。每个bucket都与一个标准（取决于聚合类型）相关联，该标准确定当前上下文中的文档是否“落入”其中。换句话说，bucket有效地定义了文档集。除了bucket本身，bucket聚合还计算并返回“落入”每个bucket的文档数。与度量聚合不同，Bucke...
58、ElasticSearch DSL Bucket、Metric聚合
weixin_40968009的博客
11-27 659
本章学习了什么是聚合以及Bucket聚合的DSL语法 1、什么是聚合：聚合是对文档的统计、分析、计算 2、常见的聚合：Bucket、Metric、Pipeline 3、聚合支持的字段：keyword、数值、日期、布尔 4、聚合三要素：聚合名称、聚合类型、聚合字段
23.Elasticsearch索引聚合查询—Bucket聚合-1
大勇若怯任卷舒
04-25 1879
23.1 聚合的引入 在SQL结果中常有: SELECT COUNT(color) FROM table GROUP BY color ElasticSearch中桶在概念上类似于 SQL 的分组（GROUP BY），而指标则类似于COUNT() 、SUM()、MAX()等统计方法 进而引入了两个概念： 桶（Buckets） 满足特定条件的文档的集合 指标（Metrics）对桶内的文档进行统计计算 ElasticSearch包含3种聚合（Aggregation)方式 桶聚合（Buck
ElasticSearch之聚合分析
pizicai007的博客
02-13 287
聚合分析，英文名 aggregation，是 ES 处搜索功能外提供的针对 ES 数据做统计分析的功能。其功能丰富，提供了 bucket, metric, pipeline 等多种分析方式，其主要方式有： Metric：指标分析类型，如计算最大值，最小值等。 Bucket：分桶类型，类似与 SQL 中的 GROUP BY 语法。 Pipeline：管道分析类型，基于上一层的聚合分析结果进行再...
java对es做聚合查询_java操作elasticsearch实现聚合查询
weixin_34244326的博客
02-27 5456
1、max 最大值//max 求最大值@Testpublic void test30() throws UnknownHostException{//1、指定es集群 cluster.name 是固定的key值，my-application是ES集群的名称Settings settings = Settings.builder().put("cluster.name", "my-applicat...
Elasticsearch Bucket和Metric聚合分析与嵌套聚合
男儿当自强
01-19 283
1. 初始化索引 DELETE /employees PUT /employees/ { "mappings" : { "properties" : { "age" : { "type" : "integer" }, "gender" : { "type" : "keyword" }, "job" : { "type" : "text", ...
Elasticsearch：透彻理解 Elasticsearch 中的 Bucket aggregation
Elastic 中国社区官方博客
12-24 7811
Elasticsearch除了在搜索方面非常之快，对数据分析也是非常重要的一面。正确理解Bucket aggregation对我们使用Kibana非常重要。Elasticsearch提供了非常多的aggregation可以供我们使用。其中Bucket aggregation对于初学者来说也是比较不容易理解的一个。在今天的这篇文章中，我来重点讲述这个。 简单地说：一个桶代表一个具有共同标准的文档集...
Elasticsearch 桶（Bucket）聚合详解及示例
一起coding，一起嗨。
08-13 464
Elasticsearch 桶（Bucket）聚合详解及示例
白话Elasticsearch31-深入聚合数据分析之bucket与metric
热门推荐
小工匠
08-21 1万+
文章目录概述Bucket AggregationsMetrics Aggregations 概述 继续跟中华石杉老师学习ES，第31篇 课程地址： https://www.roncoo.com/view/55 Bucket Aggregations 官方链接：Bucket Aggregations bucket：一个数据分组 举个例子 city name 北京 小李 北京 小王 上海 小...
elasticsearch Bucket & Metric 聚合分析及嵌套聚合
种一颗十年前的树
06-16 366
Bucket & Metric 聚合分析及嵌套聚合 DELETE /employees PUT /employees/ { "mappings" : { "properties" : { "age" : { "type" : "integer" }, "gender" : { "type" : "keyword" }, "job" : { "ty
Elasticsearch聚合分析(二)Bucket聚合分析
LiGuanLink的博客
05-27 310
Bucket 聚合分析 Bucket，分桶类型，类似SQL语法中的group by语法 Bucked，意为桶，即按照一定的规则将文档分配到不同的桶中，达到分类分析的目的。 分桶策略：Terms、Range、Date Range、Histogram、Date Histogram。 Terms Bucket聚合分析之Terms，该分桶策略最简单了，直接按照term来分桶，如果是text类型，则按照分词后的结果分桶。 按照省份分桶 GET /LGlink/_search { "size": 0,
Elasticsearch-桶聚合查询详解
苍煜
04-03 3791
在之前我们详细面熟了es的查询用法，但是es还拥有强大的聚合查询功能，可以得到类似分组，直方图，折线图等数据组合。类似SQL的SUM、AVG、COUNT、GROUP BY Elasticsearch-02-es的restapi使用ES聚合查询类似SQL的GROUP by，一般统计分析主要分为两个步骤：es中满足特定条件的文档的集合，叫做桶。 桶的就是一组数据的集合，对数据分组后，得到一组组的数据，就是一个个的桶。ES中桶聚合，指的就是先对数据进行分组，ES支持多种分组条件，例如：支持类似SQL的group
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程大帅气

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值