Elasticsearch学习---聚合查询之Pipeline aggregations

最新推荐文章于 2024-04-18 01:09:07 发布
最新推荐文章于 2024-04-18 01:09:07 发布
阅读量640 收藏 4
点赞数 1
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN_WYL2016/article/details/118090594
版权

前言

Elasticsearch除搜索以外，还提供了针对数据统计分析的功能，通过各种API可以构建数据的复杂查询，不同类型的聚合查询都有自己的目的和输出，为了更好的理解这些类型，人们通常又会把它们分为三大类。

聚合类型三大类

Bucketing（桶聚合）

每个桶都与一个键和一个文档标准相关联，通过桶的聚合查询，我们将得到一个桶的列表，即：满足条件的文档集合。

Metric（指标）

计算一组文档的某些指标项的聚合

Pipeline（管道）

对其他聚合的输出或相关指标进行二次聚合

Pipeline aggregations

Average bucket aggregation

一个同级管道聚合，它计算同级聚合中指定指标的平均值。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

先统计每天订单的销售总额，再用sales_per_date的结果，计算每天的平均销售额。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_date": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "avg_day_sales": {
      "avg_bucket": {
        "buckets_path": "sales_per_date>sales",
        "gap_policy": "skip",
        "format": "#,##0.00;(#,##0.00)"
      }
    }
  }
}

在这里插入图片描述

Bucket selector aggregation

通过脚本对父聚合条件进行过滤

先统计每天订单的销售总额，再通过bucket_selector过滤销售总额小于13000的条目。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_date": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      },
      "aggs": {
        "total_sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        },
        "sales_bucket_filter":{
          "bucket_selector": {
            "buckets_path": {
              "totalSales":"total_sales"
            },
            "script": "params.totalSales > 13000"
          }
        }
      }
    }
  }
}

在这里插入图片描述

Bucket sort aggregation

可以对聚合结果进行排序，支持多个字段排序，每个bucket可以根据它的_key、_count或它的子聚合进行排序，支持from和size参数。

显示销售前5高的天数

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_date": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      },
      "aggs": {
        "total_sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        },
        "sales_bucket_sort": {
          "bucket_sort": {
            "sort": [
              {
                "total_sales": {
                  "order": "desc"
                }
              }
            ],
            "size": 5
          }
        }
      }
    }
  }
}

在这里插入图片描述

Truncating without sorting

还可以使用此聚合来截断结果桶，而不进行任何排序。为此，只需使用from和/或size参数，而不指定sort。

直接查询

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_date": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      }
    }
  }
}

在这里插入图片描述

进行截断

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_date": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      },
      "aggs": {
        "bucket_truncate": {
          "bucket_sort": {
            "from": 1,
            "size": 1
          }
        }
      }
    }
  }
}

只返回了1条
在这里插入图片描述

Cumulative sum aggregation

一种父管道聚合，它计算父直方图(或date_直方图)聚合中指定度量的累积和。指定的度量必须是数值，并且外围的直方图必须将min_doc_count设置为0(直方图聚合的默认值)。

按月统计每月的销售额，并计算当月的累计和。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        },
        "cumulative_sales": {
          "cumulative_sum": {
            "buckets_path": "sales"
          }
        }
      }
    }
  }
}

在这里插入图片描述

Derivative aggregation

一种父管道聚合，它在父直方图(或date_直方图)聚合中计算指定度量的派生值。指定的度量必须是数值，并且外围的直方图必须将min_doc_count设置为0(直方图聚合的默认值)。

每天销售额与前一天的进行对比

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_day": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        },
        "sales_deriv":{
          "derivative": {
            "buckets_path": "sales"
          }
        }
      }
    }
  }
}

在这里插入图片描述

Stats bucket aggregation

同级管道聚合，它计算同级聚合中指定度量的所有bucket的各种统计信息。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "state_sales_month": {
      "stats_bucket": {
        "buckets_path": "sales_per_month>sales"
      }
    }
  }
}

在这里插入图片描述

Extended stats bucket aggregation

同级管道聚合，它计算同级聚合中指定度量的所有bucket的各种统计信息。指定的度量必须是数值，并且同级聚合必须是多桶聚合。
与stats_bucket聚合相比，这个聚合提供了更多的统计信息(平方和、标准差等)。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "sales_deriv": {
      "extended_stats_bucket": {
        "buckets_path": "sales_per_month>sales"
      }
    }
  }
}

在这里插入图片描述

Max bucket aggregation

一个同级管道聚合，它用同级聚合中指定度量的最大值来标识桶，并输出桶的值和键。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "max_bukcets_sales": {
      "max_bucket": {
        "buckets_path": "sales_per_month>sales"
      }
    }
  }
}

在这里插入图片描述

Min bucket aggregation

一个同级管道聚合，它用同级聚合中指定度量的最小值来标识桶，并输出桶的值和键。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "min_bukcets_sales": {
      "min_bucket": {
        "buckets_path": "sales_per_month>sales"
      }
    }
  }
}

在这里插入图片描述

Sum bucket aggregation

一个同级管道聚合，它计算同级聚合中指定度量的所有桶的总和。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_month": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "month"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "sum_sales_month": {
      "sum_bucket": {
        "buckets_path": "sales_per_month>sales"
      }
    }
  }
}

在这里插入图片描述

Percentiles bucket aggregation

同级管道聚合，计算同级聚合中指定度量的所有bucket的百分比。指定的度量必须是数值，并且同级聚合必须是多桶聚合。

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_day": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "percentiles_monthly_sales": {
      "percentiles_bucket": {
        "buckets_path": "sales_per_day>sales"
      }
    }
  }
}

在这里插入图片描述

也可以指定百分比

GET /kibana_sample_data_ecommerce/_search
{
  "size": 0,
  "aggs": {
    "sales_per_day": {
      "date_histogram": {
        "field": "order_date",
        "calendar_interval": "day"
      },
      "aggs": {
        "sales": {
          "sum": {
            "field": "taxless_total_price"
          }
        }
      }
    },
    "percentiles_monthly_sales": {
      "percentiles_bucket": {
        "buckets_path": "sales_per_day>sales",
        "percents": [25,50,75]
      }
    }
  }
}

在这里插入图片描述

码拉松
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Pipeline aggregations管道聚合-Sibling-1
童小绿 学无止境
06-26 418
管道聚合工作于其他聚合产生的输出结果而不是文档集，用于向输出树添加信息 按管道聚集运算来源分类，管道聚集可以分为基于父聚集结果和基于兄弟聚集结果两类。 ##前者使用父聚集的结果并将运算结果添加到父聚集结果中，后者则使用兄弟聚集的结果并且结果会展示在自己的聚集结果中。基于父聚集的管道聚集包括moving_avg、moving_fn、bucket_script、bucket_selector、bucket_sort、derivative、cumulative_sum、serial_diff八种。基于兄弟聚集的管
Elasticsearch-Pipeline Aggregation
qq_44447372的博客
04-05 259
管道概念:支持对聚合分析的结果进行再次聚合分词 Pipeline的分析结果会输出到原结果中,根据位置的不同,分为两类 Sibling --结果和现有分析结果同级 mac,min,avg & sum Bucket Stats,Extended Status Bucket Percentiles Bucket POST /employees/_search { "size":0, "aggs"...
elasticsearc使用指南之ES管道聚合(Pipeline Aggregation)
最新发布
2401_84415708的博客
04-18 358
这份清华大牛整理的进大厂必备的redis视频、面试题和技术文档祝大家早日进入大厂，拿到满意的薪资和职级~~~加油！！！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。**[外链图片转存中…(img-mRxPk2Fa-1713373737890)][外链图片转存中…(img-tiUhA6IR-1713373737890)]
Elasticsearch聚合——Pipeline Aggregations
weixin_34128839的博客
09-06 683
2019独角兽企业重金招聘Python工程师标准>>> ...
03.elasticsearch pipeline aggregation查询
寒夜
10-29 370
文章目录1. 数据准备2.pipeline aggregation查询语法1. 符号代表2. 聚合层级3. pipeline aggregation 查询类型概览1. sibling aggregation2. parent aggregation4.使用样例1. sibling aggregation1. Avg Bucket Aggregation: sibling agg, 对bucket的统计值求average2. Max Bucket Aggregation: sibling agg, 求buck
Elasticsearch：pipeline aggregation 介绍 （一）
Elastic 中国社区官方博客
12-15 3934
首先，我们来假想有这样的一个表格： 上面的表格里显示了每一个月的用户数量，但是我们如何能得到如下的信息呢： 哪一个月的用户数是最大的？ 从April到January的总的用户数是多少？ 它们的平均用户数是多少？ 每个月变化的值是多少？ 所有的这些问题，我们都可以使用Pipeline aggregation来算出来，这是因为这些数据的统计需要用到它的parent或sibling............
elasticsearch-analysis-ik-8.11.0
11-27
elasticsearch-8.11.0的分词器，配合es同版本使用，有粗粒度和细粒度分词
elasticsearch-analysis-ik-7.12.1
05-08
IK Analysis for Elasticsearch
elasticsearch-analysis-dynamic-synonym-7.6.2
08-17
ELASTICSEARCH7.6.2 动态同义词/近义词动态加载同义词/近义词 DYNAMIC_SYNONYM
elasticsearch-8.11.0-windows-x86-64
11-27
Elasticsearch是一个分布式RESTful搜索引擎，针对生产规模工作负载的速度和相关性进行了优化。您可以使用Elasticsearch对包括以下应用程序的海量数据集执行实时搜索：矢量搜索、全文搜索、日志、度量、应用程序性能...
elasticsearch-analysis-ik-7.9.0.zip
09-08
Elasticsearch是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速，近乎实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求的应用程序的基础引擎/技术。 elasticsearch-analysis-ik-...
ElasticSearch聚合
北京小辉
09-04 2289
目录：一、基本概念二、数据生成       maven       Java代码三、查询方法       3.1 求平均值，最大值，最小值，和，计数，统计       3.2 百分比聚合       3.3 百分比分级聚合—————————————————————————————一、基本概念二、数据生成maven<dependency> <groupId>org.elasticsearch.
ElasticSearch学习笔记之二十八 细说Pipeline Aggregations
灵动的艺术的博客
10-26 3856
ElasticSearch学习笔记之二十八 细说Pipeline AggregationsAvg Bucket Aggregation(平均值分组聚合)Syntax(语法)avg_bucket 参数Max Bucket Aggregation(最大分组聚合)Syntax(语法)max_bucket 参数Min Bucket Aggregation(最小分组聚合)Syntax(语法)min_buck...
ElasticSearch学习笔记之二十七 Pipeline Aggregations
灵动的艺术的博客
10-26 4719
ElasticSearch学习笔记之二十七 Pipeline AggregationsPipeline Aggregationsbuckets_path 语法Special Paths(特殊路径)Dealing with dots in agg names(处理聚合名称中有.)Dealing with gaps in the data(处理空数据) Pipeline Aggregations Pi...
Pipeline aggregations管道聚合- parent-2
童小绿 学无止境
06-28 317
管道聚合工作于其他聚合产生的输出结果而不是文档集，用于向输出树添加信息。有不同类型的管道聚合，每一种从其他聚合中计算不同的信息，但这些类型可以分为以下两个类型：基于父聚集的管道聚集包括moving_avg、moving_fn、bucket_script、bucket_selector、bucket_sort、derivative、cumulative_sum、serial_diff等。 基于兄弟聚集的管道聚集包括avg_bucket、max_bucket、min_bucket、sum_bucket、stat
aggregation 详解4（pipeline aggregations）
weixin_30855761的博客
05-19 1095
概述 管道聚合处理的对象是其它聚合的输出（桶或者桶的某些权值），而不是直接针对文档。 管道聚合的作用是为输出增加一些有用信息。 管道聚合大致分为两类： parent 此类聚合的"输入"是其【父聚合】的输出，并对其进行进一步处理。一般不生成新的桶，而是对父聚合桶信息的增强。 sibling 此类聚合的输入是其【兄弟聚合】的输出。并能在同级上计算新的聚合。 管道聚合通过...
Elasticsearch Pipeline Aggregation管道聚合详解
qq_28834355的博客
10-28 907
文章目录1. buckets_path2. 特殊路径3. Bucket Sort Aggregation4. Avg Bucket Aggregation5. Max Bucket Aggregation6. Sum Bucket Aggregation7. Cumulative Sum Aggregation8. Stats Bucket Aggregation 1. buckets_path Pipeline Aggregation 称为管道聚合，它的操作对象是其他聚合，而不是文档数据。 这边用的是bu
Elasticsearch: Pipeline
难得糊涂
08-12 1019
Elasticsearch有采集管道直说.其实我们在Kibana中就可以看到它已经提供了2个.所有的文档(Document)都是先通过管道在入库的cuiyaonan2000@163.com默认提供的管道如下所示:管道的定义如下所示。
elasticsearch pipeline
u012463871的博客
04-05 572
1 使用 pipeline 简单的添加一些数据 例如，录入一个员工信息中，公司信息基本上固定的，可以做成固定的信息。 创建一个公司信息的 pipeline=company_info_001 查看 pipeline 信息 GET _ingest/pipeline/company_info_001 PUT _ingest/pipeline/company_info_001 { "description": "区域字段", "processors": [ ...
Elasticsearch(8) --- 聚合查询(Metric聚合)
05-13
在Elasticsearch中，聚合(aggregation)是一种强大的数据分析工具，可以对文档进行统计分析并返回计算结果。其中，Metric聚合是一种聚合类型，它会对文档中的某些数值型字段进行统计计算，例如：平均值、最大值、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码拉松

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值