ElasticSearc初步了解聚合分析（Aggregation） Bucket 和 Metric

最新推荐文章于 2024-06-14 16:44:17 发布
最新推荐文章于 2024-06-14 16:44:17 发布
阅读量549 收藏 1
点赞数
分类专栏： ElasticSearch 文章标签： ElasticSearch Aggregation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40990836/article/details/95989721
版权
什么是聚合（Aggregation）
  • ElasticSearch 除了搜索之外，提供的针对 ES 数据进行统计分析的功能
    1. 实时性高
    2. Hadoop （T + 1）
  • 通过聚合， 我们会得到一个数据的概览， 试分析和总结全套的数据，而不是寻找单个文档
    1. 尖沙咀 和 香港岛的客房数量
    2. 不同的价格区间， 可预订的经济型酒店和五星级酒店的数量
  • 高性能，只需要一条语句，就可以从ElasticSearch得到分析结果
    1. 无需再客户端自己去实现分析逻辑
集合的分类
  • Bucket Aggegation - 一些列满足特定条件的文档的集合
  • Metric Aggregation - 一些数学运算，可以对文档字段进行统计分析
  • Pipeline Aggregation - 对其他的聚合结果进行二次聚合
  • Matrix Aggregation - 支持对多个字段的操作并提供一个结果矩阵
Bucket

一系列满足条件的文档，类似于 SQL中的 GROUP by brand
在这里插入图片描述
对商品进行 高档 中档 低档分桶，然后在单独对高档的 商品进行 好评中评差评分桶

Metric
  • Metric 会给予数据集计算结果， 除了支持在字段上进行计算，同样也支持在脚本 （painless script） 产生的结果上进行计算
  • 大多数 Metric 是数学计算，仅输出一个值
    1. min / max / sun / avg / cardinality
  • 部分 metric 支持输出多个数值
    1. stats / percentiles / percentile_ranks
通过kibana 进行一个航班目的地的统计信息

// 航班信息 按照目的地进行分桶统计
GET kibana_sample_data_flights/_search
{
  "size": 0,
  "aggs": {
    "flight_dest": {
      "terms": {
        "field": "DestCountry"
      }
    }
  }
}
// 返回结果
{
  "took" : 10,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371
        },
        {
          "key" : "US",
          "doc_count" : 1987
        },
        {
          "key" : "CN",
          "doc_count" : 1096
        },
        {
          "key" : "CA",
          "doc_count" : 944
        },
        {
          "key" : "JP",
          "doc_count" : 774
        },
        {
          "key" : "RU",
          "doc_count" : 739
        },
        {
          "key" : "CH",
          "doc_count" : 691
        },
        {
          "key" : "GB",
          "doc_count" : 449
        },
        {
          "key" : "AU",
          "doc_count" : 416
        },
        {
          "key" : "PL",
          "doc_count" : 405
        }
      ]
    }
  }
}
// 加入 Metrics
// 求出平均票价
GET kibana_sample_data_flights/_search
{
  "size": 0,
  "aggs": {
    "flight_dest": {
      "terms": {
        "field": "DestCountry"  
      },
      "aggs": {
        "avg_price": {
          "avg": {    						// 球平均价格
            "field": "AvgTicketPrice"
          }
        },
        "max_price" : {
          "max": {						   // 最大价格
            "field": "AvgTicketPrice"
          }
        },
        "min_price" : {
          "min": { 						  // 最小价格
            "field": "AvgTicketPrice"
          }
        }
      }
    }
  }
}

// 结果，数据太多了。只放一部分
{
  "took" : 10,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371,
          "max_price" : {
            "value" : 1195.3363037109375
          },
          "min_price" : {
            "value" : 100.57646942138672
          },
          "avg_price" : {
            "value" : 586.9627099618385
          }
        },
        {
          "key" : "US",
          "doc_count" : 1987,
          "max_price" : {
            "value" : 1199.72900390625
          },
          "min_price" : {
            "value" : 100.14596557617188
          },
          "avg_price" : {
            "value" : 595.7743908825026
          }
        }
      ]
    }
  }
}
// 价格统计信息， 和 天气信息
GET kibana_sample_data_flights/_search
{
  "size": 0,
  "aggs": {
    "flight_dest": {
      "terms": {
        "field" : "DestCountry"
      },
      "aggs": {
        "stats_price": {
          "stats": {      // 这个直接包含了 min max avg count sum
            "field": "AvgTicketPrice"
          }
        },
        "wather" : {
          "terms": {
            "field": "DestWeather",
            "size": 5
          }
        }
      }
    }
  }
}
// 返回结果
{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 506,
            "buckets" : [
              {
                "key" : "Clear",
                "doc_count" : 428
              },
              {
                "key" : "Sunny",
                "doc_count" : 424
              },
              {
                "key" : "Rain",
                "doc_count" : 417
              },
              {
                "key" : "Cloudy",
                "doc_count" : 414
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 182
              }
            ]
          },
          "stats_price" : {
            "count" : 2371,
            "min" : 100.57646942138672,
            "max" : 1195.3363037109375,
            "avg" : 586.9627099618385,
            "sum" : 1391688.585319519
          }
        },
        {
          "key" : "US",
          "doc_count" : 1987,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 438,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 371
              },
              {
                "key" : "Clear",
                "doc_count" : 346
              },
              {
                "key" : "Sunny",
                "doc_count" : 345
              },
              {
                "key" : "Cloudy",
                "doc_count" : 330
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 157
              }
            ]
          },
          "stats_price" : {
            "count" : 1987,
            "min" : 100.14596557617188,
            "max" : 1199.72900390625,
            "avg" : 595.7743908825026,
            "sum" : 1183803.7146835327
          }
        },
        {
          "key" : "CN",
          "doc_count" : 1096,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 229,
            "buckets" : [
              {
                "key" : "Sunny",
                "doc_count" : 209
              },
              {
                "key" : "Rain",
                "doc_count" : 207
              },
              {
                "key" : "Clear",
                "doc_count" : 192
              },
              {
                "key" : "Cloudy",
                "doc_count" : 173
              },
              {
                "key" : "Thunder & Lightning",
                "doc_count" : 86
              }
            ]
          },
          "stats_price" : {
            "count" : 1096,
            "min" : 102.90382385253906,
            "max" : 1198.4901123046875,
            "avg" : 640.7101617033464,
            "sum" : 702218.3372268677
          }
        },
        {
          "key" : "CA",
          "doc_count" : 944,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 189,
            "buckets" : [
              {
                "key" : "Clear",
                "doc_count" : 198
              },
              {
                "key" : "Rain",
                "doc_count" : 173
              },
              {
                "key" : "Cloudy",
                "doc_count" : 156
              },
              {
                "key" : "Sunny",
                "doc_count" : 148
              },
              {
                "key" : "Damaging Wind",
                "doc_count" : 80
              }
            ]
          },
          "stats_price" : {
            "count" : 944,
            "min" : 100.5572509765625,
            "max" : 1198.8525390625,
            "avg" : 648.7471090413757,
            "sum" : 612417.2709350586
          }
        },
        {
          "key" : "JP",
          "doc_count" : 774,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 165,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 152
              },
              {
                "key" : "Sunny",
                "doc_count" : 138
              },
              {
                "key" : "Clear",
                "doc_count" : 130
              },
              {
                "key" : "Cloudy",
                "doc_count" : 123
              },
              {
                "key" : "Damaging Wind",
                "doc_count" : 66
              }
            ]
          },
          "stats_price" : {
            "count" : 774,
            "min" : 103.97209930419922,
            "max" : 1199.4913330078125,
            "avg" : 650.9203447346847,
            "sum" : 503812.346824646
          }
        },
        {
          "key" : "RU",
          "doc_count" : 739,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 161,
            "buckets" : [
              {
                "key" : "Cloudy",
                "doc_count" : 149
              },
              {
                "key" : "Rain",
                "doc_count" : 128
              },
              {
                "key" : "Clear",
                "doc_count" : 122
              },
              {
                "key" : "Sunny",
                "doc_count" : 117
              },
              {
                "key" : "Thunder & Lightning",
                "doc_count" : 62
              }
            ]
          },
          "stats_price" : {
            "count" : 739,
            "min" : 101.0040054321289,
            "max" : 1196.7423095703125,
            "avg" : 662.9949632162009,
            "sum" : 489953.27781677246
          }
        },
        {
          "key" : "CH",
          "doc_count" : 691,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 128,
            "buckets" : [
              {
                "key" : "Cloudy",
                "doc_count" : 135
              },
              {
                "key" : "Sunny",
                "doc_count" : 134
              },
              {
                "key" : "Clear",
                "doc_count" : 128
              },
              {
                "key" : "Rain",
                "doc_count" : 115
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 51
              }
            ]
          },
          "stats_price" : {
            "count" : 691,
            "min" : 101.3473129272461,
            "max" : 1196.496826171875,
            "avg" : 575.1067587028537,
            "sum" : 397398.7702636719
          }
        },
        {
          "key" : "GB",
          "doc_count" : 449,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 93,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 93
              },
              {
                "key" : "Sunny",
                "doc_count" : 81
              },
              {
                "key" : "Clear",
                "doc_count" : 77
              },
              {
                "key" : "Cloudy",
                "doc_count" : 71
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 34
              }
            ]
          },
          "stats_price" : {
            "count" : 449,
            "min" : 111.34574890136719,
            "max" : 1197.78564453125,
            "avg" : 650.5326856005696,
            "sum" : 292089.17583465576
          }
        },
        {
          "key" : "AU",
          "doc_count" : 416,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 93,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 80
              },
              {
                "key" : "Cloudy",
                "doc_count" : 75
              },
              {
                "key" : "Clear",
                "doc_count" : 73
              },
              {
                "key" : "Sunny",
                "doc_count" : 57
              },
              {
                "key" : "Hail",
                "doc_count" : 38
              }
            ]
          },
          "stats_price" : {
            "count" : 416,
            "min" : 102.2943115234375,
            "max" : 1197.6326904296875,
            "avg" : 669.5588319668403,
            "sum" : 278536.47409820557
          }
        },
        {
          "key" : "PL",
          "doc_count" : 405,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 90,
            "buckets" : [
              {
                "key" : "Clear",
                "doc_count" : 74
              },
              {
                "key" : "Rain",
                "doc_count" : 71
              },
              {
                "key" : "Cloudy",
                "doc_count" : 67
              },
              {
                "key" : "Sunny",
                "doc_count" : 66
              },
              {
                "key" : "Thunder & Lightning",
                "doc_count" : 37
              }
            ]
          },
          "stats_price" : {
            "count" : 405,
            "min" : 104.28328704833984,
            "max" : 1185.43701171875,
            "avg" : 662.4497233072917,
            "sum" : 268292.1379394531
          }
        }
      ]
    }
  }
}
天才小熊猫12138584
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elasticsearch aggregations 之一：引入buckets、metrics
w1346561235的博客
09-24 1276
今天聊聊elasticsearch的聚合aggregation功能。 在解释elasticsearch的时候，都喜欢将es与关系数据库做对比参照，一来大部分coder对关系数据库都有或多或少了解，基本的关系模型、select功能都清楚；二来忽略内部实现如何，就表现出来的功能而言，两者也有可比之处。将两者作对比，可以帮助es新人更好的了解、使用es。接下来就看看两者的aggregation对比如何...
Elasticsearch 之 Metrics Aggregations（数值度量聚合）
天空之城
07-01 2157
Metrics Aggregations（数值度量聚合） 该系列中的聚合基于以某种方式从正在聚合的文档中提取的值来计算度量。这些值通常从文档的字段中提取(使用字段数据)，但也可以使用脚本生成。 数值度量聚合是一种输出数值的特殊类型的度量聚合。一些聚合输出单个数值度量（例如平均值），称为单值度量聚合，另一些输出多个度量值（例如统计数据），称为多值数值度量聚合。单值与多值数值度量聚合的区别是，他们充当...
Elasticsearch聚合分析(二)Bucket聚合分析
LiGuanLink的博客
05-27 292
Bucket 聚合分析 Bucket，分桶类型，类似SQL语法中的group by语法 Bucked，意为桶，即按照一定的规则将文档分配到不同的桶中，达到分类分析的目的。 分桶策略：Terms、Range、Date Range、Histogram、Date Histogram。 Terms Bucket聚合分析之Terms，该分桶策略最简单了，直接按照term来分桶，如果是text类型，则按照分词后的结果分桶。 按照省份分桶 GET /LGlink/_search { "size": 0,
es的语法笔记
最新发布
一念花开的博客
06-14 844
查找时间范围且服务名为A服务的数据后以systemId进行分组倒叙排列取其前5条，且每条记录里以requestUri分组并取数量最多的前两条，同时也以userIp进行分组取其前两条数据。则： sum_other_doc_count代表的是其他未展示的文档的数量，像其余80种再每个分片取top前20的时候可能都未取到，自然大于0。"ipCity": "内网IP",doc_count_error_upper_bound则是返回的种类以及有歧义没返回的种类的遗漏的文档数量。"field": "水果种类",
Spring data mongodb 聚合查询(aggregation) 之 bucket
热门推荐
海贼懒懒
07-05 16万+
bucket：按照范围分组官网原生代码：db.artwork.aggregate( [  {    $bucket: {      groupBy: "$price",      boundaries: [ 0, 200, 400 ],      default: "Other",      output: {        "count": { $sum: 1 },        "titles...
Elasticsearch：aggregation 介绍
Elastic 中国社区官方博客
11-02 6184
聚合(aggregation)功能集是整个Elasticsearch产品中最令人兴奋和有益的功能之一，主要是因为它提供了一个非常有吸引力对之前的facets的替代。 在本教程中，我们将解释Elasticsearch中的聚合（aggregation）并逐步介绍一些示例。 我们比较了指标聚合和存储桶聚合，并展示了如何利用聚合嵌套（对于facets而言这是不可能的）。 欢迎您在本文中复制所有示例代码。......
MongoDB的聚合框架Aggregation Framework入门学习教程
09-10
MongoDB的聚合框架（Aggregation Framework）是数据库处理数据计算的核心工具，它允许开发者对数据进行复杂的分析和转换，以满足报告、统计和其他数据分析的需求。本教程将详细介绍MongoDB聚合框架的基本概念和常用...
Django Aggregation聚合使用方法解析
09-18
5. **分组和聚合** 当需要根据某个字段对数据进行分组并应用聚合时，可以使用`annotate`。例如，给每个出版社添加一个`num_books`属性，表示该出版社出版的书籍数量： ```python from django.db.models import ...
Django中Aggregation聚合的基本使用方法
09-16
Django的Aggregation功能还包括其他聚合函数，如`Sum`（求和）、`Count`（计数）、`StdDev`（标准差）、`Variance`（方差）等，以及更高级的聚合操作，如`GroupBy`和`F`表达式，它们可以用来创建更复杂的查询，如...
aggregation:基类和混合类的聚合
05-29
基类和混合类的聚合 关于 Aggregation 是一个非常小的 Node.js 环境的 JavaScript 库，只提供一个函数，用于基于 mixins 的 ECMAScript 5/6 类继承。 它将一个基类和一个或多个 mixin 类聚合为一个聚合类，然后通常...
Elasticsearch6.X 工具类 增删改查 没有做聚合
09-26
Elasticsearch6.X 工具类 增删改查 没有做聚合查询 聚合不能分页 简单的分页自己实现
elasticsearch6 聚合查询普通分页demo
09-26
聚合查询分页测试termsAgg.size(2147483647); //指定最大统计显示多少行步骤1：全量聚合，size设置为： 2147483647。 ES5.X/6.X版本设置为2147483647 ，它等于2^31-1，请看该地方代码
Metric aggregation
彪叔的博客
09-13 515
https://www.elastic.co/guide/en/elasticsearch/reference/7.13/search-aggregations-metrics.html 这个类型的聚合操作根据选择的document 的 值 计算 指标。这个值可以从document 的 fields中提取，也可以通过脚本生成。 Numeric metrics aggregation 是一种特殊的metrics aggregation，它的输出为数值。 一些metrics aggregation输出一个数值度
Elasticsearch学习---聚合查询之Metric Aggregations
自律使我自由
06-18 280
前言 Elasticsearch除搜索以外，还提供了针对数据统计分析的功能，通过各种API可以构建数据的复杂查询，不同类型的聚合查询都有自己的目的和输出，为了更好的理解这些类型，人们通常又会把它们分为四大类。 聚合类型四大类 Bucketing（桶聚合） 每个桶都与一个键和一个文档标准相关联，通过桶的聚合查询，我们将得到一个桶的列表，即：满足条件的文档集合。 Metric（指标） 计算一组文档的某些指标项的聚合 Matrix（矩阵） 可以对多个字段进行操作，并根据从请求的文档字段中提取的值生成一个结果矩阵
01.elasticsearch metric aggregation 查询
寒夜
10-29 305
文章目录1. 数据准备2. metric aggregation分类3.使用样例1 . Avg Aggregation : 求query出来的结果的average 值2 . Weighted Avg Aggregation: 带权重的average值，可以选取另一个字段的值作为权重值3 . Max Aggregation: 求query出来的结果的max值4 . Min Aggregation: 求query出来的结果的min值5 . Sum Aggregation: 求query出来的结果的sum值6
ElasticSearch Aggregation Bucket 实例分析
allwefantasy的专栏
03-04 7230
在前文 ElasticSearch Aggregations 分析 中，我们提及了 【Aggregation Bucket的实现】，然而只是用文字简要描述了原理。今天这篇文章会以简单的类似grouyBy 的操作，让大家Aggregator的工作原理有进一步的理解 查询语句今天我们假定的查询如下：{ "aggs":{ "user": { "te
Elasticsearch：透彻理解 Elasticsearch 中的 Bucket aggregation
Elastic 中国社区官方博客
12-24 7540
Elasticsearch除了在搜索方面非常之快，对数据分析也是非常重要的一面。正确理解Bucket aggregation对我们使用Kibana非常重要。Elasticsearch提供了非常多的aggregation可以供我们使用。其中Bucket aggregation对于初学者来说也是比较不容易理解的一个。在今天的这篇文章中，我来重点讲述这个。 简单地说：一个桶代表一个具有共同标准的文档集...
Elasticsearch：如何在搜索时得到精确的总 hits 数
Elastic 中国社区官方博客
01-26 8675
从Elasticsearch 7.0之后，为了提高搜索的性能，在hits字段中返回的文档数有时不是最精确的数值。Elasticsearch限制了最多的数值为10000。 当文档的数值大于10000时，返回的total数值为10000，并在relation中指出gte。 我们可以做如下的一个实验。启动Kibana: 然后选中“Add data”: 这样我们就把Sample ...
Elasticsearch聚合深入理解：Terms分析与优化
"_key":"asc" } } } } 这里我们详细讨论Elasticsearch中的术语聚合(Terms Aggregation)，这是一种非常有用的工具，用于对字段...在设计查询和聚合时，应充分考虑数据分布、系统资源和业务需求，以实现最佳的分析效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值