Elasticsearch使用篇 - 管道聚合

已于 2023-06-20 22:05:49 修改
阅读量1.4k 收藏 3
点赞数
文章标签： elasticsearch 搜索引擎
于 2023-04-14 18:58:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34561892/article/details/129960768
版权
本文详细介绍了 Elasticsearch 中的管道聚合，包括 max_bucket、min_bucket、avg_bucket、sum_bucket 等多种聚合类型，以及它们在数据统计和分析中的应用。通过实例展示了如何利用管道聚合进行二次统计，如计算最大值、最小值、平均值和累计值等，为数据处理和分析提供了强大工具。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

管道聚合

基于前一次聚合的结果，进行二次聚合统计。

从结构上可以分为兄弟级（Sibling）管道聚合和父级（Parent）管道聚合两种方式。

  • 兄弟级管道聚合：在同一聚合级别上可以产生新的聚合。
GET kibana_sample_data_logs/_search
{
   
  "size": 0,
  "aggs": {
   
    "count_per_day": {
   
      "date_histogram": {
   
        "field": "@timestamp",
        "calendar_interval": "day"
      }
    },
    "total_bytes_of_download": {
   
      "sum": {
   
        "field": "bytes"
      }
    }
  }
}
  • 父级管道聚合：由父聚合提供输出，子聚合能够产生新的桶，然后可以添加到父桶中。
GET  kibana_sample_data_logs/_search
{
   
  "size": 0,
  "aggs": {
   
    "count_per_day": {
   
      "date_histogram": {
   
        "field": "@timestamp",
        "calendar_interval": "day"
      },
      "aggs": {
   
        "total_bytes_per_day": {
   
          "sum": {
   
            "field": "bytes"
          }
        }
      }
    }
  }
}

max_bucket、min_bucket、avg_bucket、sum_bucket

基于兄弟级管道聚合的方式，从多个分桶中获取指定数值指标的聚合结果（最大值 / 最小值 / 平均值 / 和）。

  • buckets_path：（必须）目标桶的路径指向。
  • gap_policy：分桶数据出现空值或者缺失值的处理策略，默认 skip。gap_policy 详细说明
    • skip：跳过空值或者缺失值，不参与聚合计算。
    • insert_zeros：将空值或者缺失值当作 0 来参与聚合计算。
    • keep_values：如果提供的指标值是一个空值或者缺失值（null、NAN）则跳过，不参与聚合计算；否则使用该指标值参与聚合计算。
  • format：指定数值的输出格式，比如 #、#0.00。默认 null。

1、统计每个出发地国家的最长的航班飞行时间，并且获取航班飞行时间最长的国家以及对应的航班飞行时间。

GET kibana_sample_data_flights/_search
{
   
  "size": 0,
  "track_total_hits": true,
  "aggs": {
   
    "terms_OriginCountry": {
   
      "terms": {
   
        "field": "OriginCountry",
        "size": 20
      },
      "aggs": {
   
        "max_FlightTimeMin": {
   
          "max": {
   
            "field": "FlightTimeMin"
          }
        }
      }
    },
    "pipeline-max-bucket": {
   
      "max_bucket": {
   
        "buckets_path": "terms_OriginCountry>max_FlightTimeMin"
      }
    }
  }
}

截取部分的聚合结果如下：

"pipeline-max-bucket" : {
   
  "value" : 1902.9019775390625,
  "keys" : [
    "AR"
  ]
}

2、获取出发地国家中各个出发地城市的航班飞行时间的最大值，然后统计出发地城市中航班飞行时间最长的飞行时长以及对应的出发地城市名称。

GET kibana_sample_data_flights/_search
{
   
  "size": 0,
  "track_total_hits": true,
  "aggs": {
   
    "terms_OriginCountry": {
   
      "terms": {
   
        "field": "OriginCountry",
        "size": 20
      },
      "aggs": {
   
        "terms_OriginCityName": {
   
          "terms": {
   
            "field": "OriginCityName",
            "size": 20
          },
          "aggs": {
   
            "max_FlightTimeMin": {
   
              "max": {
   
                "field": "FlightTimeMin"
              }
            }
          }
        },
        "Max_Bucket_OriginCityName_FlightTimeMin": {
   
          "max_bucket": {
   
            "buckets_path": "terms_OriginCityName>max_FlightTimeMin"
          }
        }
      }
    }
  }
}

截取以出发地国家维度的第一个分桶中的管道聚合的结果。

"Max_Bucket_OriginCityName_FlightTimeMin" : {
   
  "value" : 1559.6236572265625,
  "keys" : [
    "Rome"
  ]
}

3、在 2 的基础上获取出发地国家中航班最长的飞行时间以及对应的出发地国家名称。

GET kibana_sample_data_flights/_search
{
   
  "size": 0,
  "track_total_hits": true,
  "aggs": {
   
    "terms_OriginCountry": {
   
      "terms": {
   
        "field": "OriginCountry",
        "size": 20
      },
      "aggs": {
   
        "terms_OriginCityName": {
   
          "terms": {
   
            "field": "OriginCityName",
            "size": 20
          },
          "aggs": {
   
            "max_FlightTimeMin": {
   
              "max": {
   
                "field": "FlightTimeMin"
              }
            }
          }
        },
        "Max_Bucket_OriginCityName_FlightTimeMin": {
   
          "max_bucket": {
   
            "buckets_path": "terms_OriginCityName>max_FlightTimeMin"
          }
        }
      }
    },
    "Max_Bucket_OriginCountry_FlightTimeMin": {
   
      "max_bucket": {
   
        "buckets_path": "terms_OriginCountry>Max_Bucket_OriginCityName_FlightTimeMin"
      }
    }
  }
}

在 2 的基础上额外输出出发地国家纬度的管道聚合结果。

"Max_Bucket_OriginCountry_FlightTimeMin" : {
   
  "value" : 1902.9019775390625,
  "keys" : [
    "AR"
  ]
}

stats_bucket

基于兄弟级管道聚合的方式，从多个分桶中获取指定数值指标的统计聚合结果。

  • buckets_path：（必须）目标桶的路径指向。
  • gap_policy：分桶数据出现空值或者缺失值的处理策略，默认 skip。gap_policy 详细说明
    • skip：跳过空值或者缺失值，不参与聚合计算。
    • insert_zeros：将空值或者缺失值当作 0 来参与聚合计算。
    • keep_values：如果提供的指标值是一个空值或者缺失值（null、NAN）则跳过，不参与聚合计算；否则使用该指标值参与聚合计算。
  • format：指定数值的输出格式，比如 #、#0.00。默认 null。
  • sigma：标准差的倍数，默认 2。用于确定一个数据点是否属于异常值。

1、统计出发地国家中各个出发地城市的航班飞行时间的平均时长，然后统计这些平均时长在出发地国家纬度下的各项指标。

GET kibana_sample_data_flights/_search
{
   
  "size": 0,
  "track_total_hits": true,
  "aggs": {
   
    "terms_OriginCountry": {
   
      "terms": {
   
        "field": "OriginCountry",
        "size": 20
      },
      "aggs": {
   
        "terms_OriginCityName": {
   
          "terms": {
   
            "field": "OriginCityName",
            "size": 20
          },
          "aggs": {
   
            "avg_FlightTimeMin": {
   
              "avg": {
   
                "field": "FlightTimeMin"
              }
            }
          }
        },
        "Stats_Bucket_OriginCityName_FlightTimeMin": {
   
          "stats_bucket": {
   
            "buckets_path": "terms_OriginCityName>avg_FlightTimeMin"
          }
        }
      }
    }
  }
}

截取部分的聚合结果如下：

"Stats_Bucket_OriginCityName_FlightTimeMin" : {
   
  "count" : 15,
  "min" : 226.4979310909907,
  "max" : 472.0975369329038,
  "avg" : 378.1233526619374,
  "sum" : 5671.850289929062
}

extended_stats_bucket

基于兄弟级管道聚合的方式，从多个分桶中获取指定数值指标的拓展统计聚合结果。

  • buckets_path：（必须）目标桶的路径指向。
  • gap_policy：分桶数据出现空值或者缺失值的处理策略，默认 skip。gap_policy 详细说明
    • skip：跳过空值或者缺失值，不参与聚合计算。
    • insert_zeros：将空值或者缺失值当作 0 来参与聚合计算。
    • keep_values：如果提供的指标值是一个空值或者缺失值（null、NAN）则跳过，不参与聚合计算；否则使用该指标值参与聚合计算。
  • format：指定数值的输出格式，比如 #、#0.00。默认 null。
  • sigma：标准差的倍数，默认 2。用于确定一个数据点是否属于异常值。

1、统计出发地国家中各个出发地城市的航班飞行时间的平均时长，然后统计这些平均时长在出发地城市纬度下的各项指标。

GET kibana_sample_data_flights/_search
{
   
  "size": 0,
  "track_total_hits": true,
  "aggs": {
   
    "terms_OriginCountry": {
   
      "terms": {
   
        "field": "OriginCountry",
        "size": 20
      },
      "aggs": {
   
        "terms_OriginCityName": {
   
          "terms": {
   
            "field": "OriginCityName",
            "size": 20
          },
          "aggs": {
最低0.47元/天 解锁文章
Elasticsearch Pipeline Aggregation管道聚合详解
qq_28834355的博客
10-28 1074
文章目录1. buckets_path2. 特殊路径3. Bucket Sort Aggregation4. Avg Bucket Aggregation5. Max Bucket Aggregation6. Sum Bucket Aggregation7. Cumulative Sum Aggregation8. Stats Bucket Aggregation 1. buckets_path Pipeline Aggregation 称为管道聚合，它的操作对象是其他聚合，而不是文档数据。 这边用的是bu
Elasticsearch使用篇 - 指标聚合
The Secret
02-13 744
本文介绍Elasticsearch的指标聚合。
Elasticsearch 管道聚合：组合多个聚合
Dxy1239310216的博客
06-30 507
管道聚合（Pipeline Aggregations）是一种特殊的聚合类型，它们对另一个聚合的结果进行处理。与常规的聚合不同，管道聚合不直接操作文档，而是处理其他聚合的输出。这使得我们可以在单个请求中组合多个聚合，并根据一个聚合的输出修改另一个聚合的结果。通过使用Elasticsearch的管道聚合功能，我们可以将多个聚合组合起来，执行更复杂的计算和分析。从计算平均值、总和到找出极值、变化趋势等，管道聚合为我们提供了强大的工具来处理和分析数据。
ES Pipeline Aggregation(管道聚合)
weixin_44195108的博客
03-19 2198
管道聚合处理来自其他聚合而不是文档集的输出，将信息添加到输出树中。 注：关于脚本聚合目前在本文中暂时不会涉及。 主要有如下两种管道聚合方式： parent sibling 下面一一介绍ES定义的管道聚合。 Avg Bucket 聚合 同级管道聚合，它计算同级聚合中指定度量的平均值。同级聚合必须是多桶聚合，针对的是度量聚合(metric Aggregation)。 示例如下： 1{ 2 "av...
掌握 ElasticSearch 聚合查询：Aggregations 入门与实战
最新发布
weixin_44283682的博客
02-28 1038
本文深入浅出地介绍了 Elasticsearch 7.10 中的聚合查询（Aggregations）基础知识。聚合查询是 Elasticsearch 中进行数据分析的强大工具，类似于 SQL 中的 GROUP BY 和聚合函数，但功能更强大、更灵活。文章首先介绍了聚合查询的基本概念、语法结构和三种核心聚合类型：指标聚合（Metrics Aggregations）、桶聚合（Bucket Aggregations）和管道聚合（Pipeline Aggregations）。
Elasticsearch 管道聚合
小黑王HK
11-15 1893
管道聚合 管道聚合处理其他聚合产生的输出，而不是处理文档集，它将信息添加到输出树。存在许多不同类型的管道聚合，这些聚合从其他的聚合中计算不同的信息，这些聚合主要分成两类： 双亲：与双亲聚合输出一起提供的一系列管道聚合，可以用于计算添加到已存在桶的新的桶或聚合。 兄弟：与兄弟聚合输出一起提供的管道聚合，用于计算与兄弟聚合处于相同级别的新聚合。 通过使用buckets_path参数指明所需度量的...
【Elasticsearch】 06-管道聚合查询详解及示例
程序员小屋
06-24 911
管道聚合查询是一种在聚合查询结果上进行进一步计算和分析的方式。它可以用于计算新的指标、进行比较、排序和筛选等操作。管道聚合查询通常作为其他聚合查询的后续处理步骤。
ElasticSearch学习笔记十六（管道聚合）
怡宝的大方哥
02-21 427
与关系型数据库一样，ElasticSearch 也有自己的聚合分析功能，对查询返回的结果进行处理，主要分为三大类：指标聚合、桶聚合、管道聚合。 这一篇主要讲 ElasticSearch 的管道聚合功能。
Elasticsearch详细笔记（五）：RestClient查询--数据聚合--RestClient实现聚合
m0_73927143的博客
09-24 1016
RestClient实现DSL查询操作，数据聚合的知识以及在RestClient上实现聚合
【Elasticsearch】管道聚合
risc123456的博客
02-10 1020
在 Elasticsearch 中，管道聚合（Pipeline Aggregations）是一种特殊的聚合类型，用于对其他聚合的结果进行进一步的计算和处理，而不是直接从文档集合中提取数据。管道聚合可以基于其他聚合的输出来生成新的聚合结果，从而实现更复杂的数据分析。• 管道聚合可以链式调用，即一个管道聚合的结果可以作为另一个管道聚合的输入。• 管道聚合的计算基于其他聚合的结果，可能会增加查询的复杂度和计算时间。管道聚合就是在已有聚合结果之上在进行聚合，管道聚合是针对于聚合的聚合。计算某个聚合结果的累计和。
elasticsearc使用指南之ES管道聚合(Pipeline Aggregation)
2401_85112237的博客
05-29 1072
一种父管道聚合，它对其父多桶聚合的桶进行排序。当管道聚合遇到不存在的值，有点类似于term等聚合的(missing)时所采取的策略，可选择值为：skip、insert_zeros。从结果可知，cumulative_sales的值等于上一个cumulative_sales + 当前桶的sum聚合。用与对父聚合的桶进行截取，该值之前的所有桶将忽略，也就是不参与排序，默认为0。累积管道聚合，就是就是依次将每个管道的sum聚合进行累加。桶聚合名称，作为管道聚合的输入信息。默认为父聚合的所有桶。
ElasticSearch聚合
辉哥大数据
09-04 2345
目录：一、基本概念二、数据生成       maven       Java代码三、查询方法       3.1 求平均值，最大值，最小值，和，计数，统计       3.2 百分比聚合       3.3 百分比分级聚合—————————————————————————————一、基本概念二、数据生成maven<dependency> <groupId>org.elasticsearch.
ES聚合查询详解(四):管道聚合
弹指天下
10-28 2578
本文主要介绍ES管道聚合的使用。 - 指标聚合 ：主要是用来做聚合计算 - 桶聚合 ：主要是用来做分组 - 管道聚合 ： 对桶聚合和管道聚合的计算结果进行聚合计算、排序、截取等操作。
Elasticsearch 中管道介绍
北执南念的博客
10-23 1198
Elasticsearch 中管道介绍
elasticsearch(8)聚合统计-管道聚合
祈雨v的博客
10-09 640
聚合路径 聚合路径的定义如下： 聚合分隔符为&gt; 指标分隔符为. 聚合名为&lt;聚合的名称&gt; 指标名为&lt;指标的名称&gt; 路径为&lt;聚合名&gt;[&lt;聚合分隔符&gt;&lt;聚合分隔符&gt;]*[&lt;指标分隔符&gt;&lt;指标&gt;] 例如：基于女性人群的平均身高对国家这个指标进行倒序排序。 GET /testindex/testtype/_
ElasticSearch 实战：管道（pipeline）的使用
qq_33240556的博客
04-03 1482
Elasticsearch 中的管道（Pipeline）是一种强大的数据预处理机制，用于在文档被索引前对它们执行一系列有序的处理步骤。
Elasticsearch摄取节点（一）——管道（pipeline）介绍
大风的博客
11-26 4629
摄取节点的作用 之前在介绍ES集群的时候，曾经介绍过集群中存在一个摄取节点，在数据保存到文档索引之前，我们可能需要对文档进行预处理，而摄取节点会拦截这些请求，根据需要将文档中的内容进行处理然后传递会索引或者API中。 摄取节点的配置 默认配置下所有节点都启用了ingest。因此任何一个ES节点都可以处理ingest任务。就像之前ES集群中描述的，我们可以创建一个专门处理相关业务的ingest节点。...
Elasticsearch管道查询语言：ES|QL - 数据操作与探索利器
Elasticsearch 管道查询语言 (ES|QL) 是一种简单而高效的语言，专为在 Elasticsearch 中管理和处理数据而设计。它被开发为一个现代管道语言，旨在促进数据探索的效率和灵活性。ES|QL 支持复杂的查询流程，通过将一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值