Elasticsearchd 聚合(Aggregation)

最新推荐文章于 2024-03-01 18:18:15 发布
最新推荐文章于 2024-03-01 18:18:15 发布
阅读量168 收藏
点赞数
分类专栏： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/laimao8079/article/details/105211116
版权

健康状态是黄色是因为有副本出了问题,

健康状态是红色是主分片出了问题

Bucket Aggregation --一些列满足特定条件的文档集合(Term&Range)
Metric Aggregation --一些数学运算,可以对文档字段进行统计分析
     会基于数据集计算的结果,除了支持在字段上进行计算,同样也支持在脚本(painless script)产生的结果之上进行计算
      输出一个值的(min/max/sum/avg/cardinality)
    输出多个值的(stats/percentiles/percentile_ranks)    
Pipeline Aggregation --对其他的聚合结果进行二次聚合
Matrix Aggregation -支持对多个字段的操作并提供一个结果矩阵

#按照目的地进行分桶统计
GET kibana_sample_data_flights/_search
{
    "size": 0,
    "aggs":{
        "flight_dest":{
            "terms":{
                "field":"DestCountry"
            }
        }
    }
}

{
  "took" : 5,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371
        },
        {
          "key" : "US",
          "doc_count" : 1987
        },
        {
          "key" : "CN",
          "doc_count" : 1096
        },
        {
          "key" : "CA",
          "doc_count" : 944
        },
        {
          "key" : "JP",
          "doc_count" : 774
        },
        {
          "key" : "RU",
          "doc_count" : 739
        },
        {
          "key" : "CH",
          "doc_count" : 691
        },
        {
          "key" : "GB",
          "doc_count" : 449
        },
        {
          "key" : "AU",
          "doc_count" : 416
        },
        {
          "key" : "PL",
          "doc_count" : 405
        }
      ]
    }
  }
}

#查看航班目的地的统计信息，增加平均，最高最低价格

GET kibana_sample_data_flights/_search
{
    "size": 0,
    "aggs":{
        "flight_dest":{
            "terms":{
                "field":"DestCountry"
            },
            "aggs":{
                "avg_price":{
                    "avg":{
                        "field":"AvgTicketPrice"
                    }
                },
                "max_price":{
                    "max":{
                        "field":"AvgTicketPrice"
                    }
                },
                "min_price":{
                    "min":{
                        "field":"AvgTicketPrice"
                    }
                }
            }
        }
    }
}

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371,
          "max_price" : {
            "value" : 1195.3363037109375
          },
          "min_price" : {
            "value" : 100.57646942138672
          },
          "avg_price" : {
            "value" : 586.9627099618385
          }
        },
        {
          "key" : "US",
          "doc_count" : 1987,
          "max_price" : {
            "value" : 1199.72900390625
          },
          "min_price" : {
            "value" : 100.14596557617188
          },
          "avg_price" : {
            "value" : 595.7743908825026
          }
        },
        {
          "key" : "CN",
          "doc_count" : 1096,
          "max_price" : {
            "value" : 1198.4901123046875
          },
          "min_price" : {
            "value" : 102.90382385253906
          },
          "avg_price" : {
            "value" : 640.7101617033464
          }
        },
        {
          "key" : "CA",
          "doc_count" : 944,
          "max_price" : {
            "value" : 1198.8525390625
          },
          "min_price" : {
            "value" : 100.5572509765625
          },
          "avg_price" : {
            "value" : 648.7471090413757
          }
        },
        {
          "key" : "JP",
          "doc_count" : 774,
          "max_price" : {
            "value" : 1199.4913330078125
          },
          "min_price" : {
            "value" : 103.97209930419922
          },
          "avg_price" : {
            "value" : 650.9203447346847
          }
        },
        {
          "key" : "RU",
          "doc_count" : 739,
          "max_price" : {
            "value" : 1196.7423095703125
          },
          "min_price" : {
            "value" : 101.0040054321289
          },
          "avg_price" : {
            "value" : 662.9949632162009
          }
        },
        {
          "key" : "CH",
          "doc_count" : 691,
          "max_price" : {
            "value" : 1196.496826171875
          },
          "min_price" : {
            "value" : 101.3473129272461
          },
          "avg_price" : {
            "value" : 575.1067587028537
          }
        },
        {
          "key" : "GB",
          "doc_count" : 449,
          "max_price" : {
            "value" : 1197.78564453125
          },
          "min_price" : {
            "value" : 111.34574890136719
          },
          "avg_price" : {
            "value" : 650.5326856005696
          }
        },
        {
          "key" : "AU",
          "doc_count" : 416,
          "max_price" : {
            "value" : 1197.6326904296875
          },
          "min_price" : {
            "value" : 102.2943115234375
          },
          "avg_price" : {
            "value" : 669.5588319668403
          }
        },
        {
          "key" : "PL",
          "doc_count" : 405,
          "max_price" : {
            "value" : 1185.43701171875
          },
          "min_price" : {
            "value" : 104.28328704833984
          },
          "avg_price" : {
            "value" : 662.4497233072917
          }
        }
      ]
    }
  }
}

#价格统计信息+天气信息分组,目的地分组

GET kibana_sample_data_flights/_search
{
	"size": 0,
	"aggs":{
		"flight_dest":{
			"terms":{
				"field":"DestCountry"
			},
			"aggs":{
				"stats_price":{
					"stats":{
						"field":"AvgTicketPrice"
					}
				},
				"wather":{
				  "terms": {
				    "field": "DestWeather",
				    "size": 5
				  }
				}

			}
		}
	}
}

{
  "took" : 62,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "flight_dest" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3187,
      "buckets" : [
        {
          "key" : "IT",
          "doc_count" : 2371,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 506,
            "buckets" : [
              {
                "key" : "Clear",
                "doc_count" : 428
              },
              {
                "key" : "Sunny",
                "doc_count" : 424
              },
              {
                "key" : "Rain",
                "doc_count" : 417
              },
              {
                "key" : "Cloudy",
                "doc_count" : 414
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 182
              }
            ]
          },
          "stats_price" : {
            "count" : 2371,
            "min" : 100.57646942138672,
            "max" : 1195.3363037109375,
            "avg" : 586.9627099618385,
            "sum" : 1391688.585319519
          }
        },
        {
          "key" : "US",
          "doc_count" : 1987,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 438,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 371
              },
              {
                "key" : "Clear",
                "doc_count" : 346
              },
              {
                "key" : "Sunny",
                "doc_count" : 345
              },
              {
                "key" : "Cloudy",
                "doc_count" : 330
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 157
              }
            ]
          },
          "stats_price" : {
            "count" : 1987,
            "min" : 100.14596557617188,
            "max" : 1199.72900390625,
            "avg" : 595.7743908825026,
            "sum" : 1183803.7146835327
          }
        },
        {
          "key" : "CN",
          "doc_count" : 1096,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 229,
            "buckets" : [
              {
                "key" : "Sunny",
                "doc_count" : 209
              },
              {
                "key" : "Rain",
                "doc_count" : 207
              },
              {
                "key" : "Clear",
                "doc_count" : 192
              },
              {
                "key" : "Cloudy",
                "doc_count" : 173
              },
              {
                "key" : "Thunder & Lightning",
                "doc_count" : 86
              }
            ]
          },
          "stats_price" : {
            "count" : 1096,
            "min" : 102.90382385253906,
            "max" : 1198.4901123046875,
            "avg" : 640.7101617033464,
            "sum" : 702218.3372268677
          }
        },
        {
          "key" : "CA",
          "doc_count" : 944,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 189,
            "buckets" : [
              {
                "key" : "Clear",
                "doc_count" : 198
              },
              {
                "key" : "Rain",
                "doc_count" : 173
              },
              {
                "key" : "Cloudy",
                "doc_count" : 156
              },
              {
                "key" : "Sunny",
                "doc_count" : 148
              },
              {
                "key" : "Damaging Wind",
                "doc_count" : 80
              }
            ]
          },
          "stats_price" : {
            "count" : 944,
            "min" : 100.5572509765625,
            "max" : 1198.8525390625,
            "avg" : 648.7471090413757,
            "sum" : 612417.2709350586
          }
        },
        {
          "key" : "JP",
          "doc_count" : 774,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 165,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 152
              },
              {
                "key" : "Sunny",
                "doc_count" : 138
              },
              {
                "key" : "Clear",
                "doc_count" : 130
              },
              {
                "key" : "Cloudy",
                "doc_count" : 123
              },
              {
                "key" : "Damaging Wind",
                "doc_count" : 66
              }
            ]
          },
          "stats_price" : {
            "count" : 774,
            "min" : 103.97209930419922,
            "max" : 1199.4913330078125,
            "avg" : 650.9203447346847,
            "sum" : 503812.346824646
          }
        },
        {
          "key" : "RU",
          "doc_count" : 739,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 161,
            "buckets" : [
              {
                "key" : "Cloudy",
                "doc_count" : 149
              },
              {
                "key" : "Rain",
                "doc_count" : 128
              },
              {
                "key" : "Clear",
                "doc_count" : 122
              },
              {
                "key" : "Sunny",
                "doc_count" : 117
              },
              {
                "key" : "Thunder & Lightning",
                "doc_count" : 62
              }
            ]
          },
          "stats_price" : {
            "count" : 739,
            "min" : 101.0040054321289,
            "max" : 1196.7423095703125,
            "avg" : 662.9949632162009,
            "sum" : 489953.27781677246
          }
        },
        {
          "key" : "CH",
          "doc_count" : 691,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 128,
            "buckets" : [
              {
                "key" : "Cloudy",
                "doc_count" : 135
              },
              {
                "key" : "Sunny",
                "doc_count" : 134
              },
              {
                "key" : "Clear",
                "doc_count" : 128
              },
              {
                "key" : "Rain",
                "doc_count" : 115
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 51
              }
            ]
          },
          "stats_price" : {
            "count" : 691,
            "min" : 101.3473129272461,
            "max" : 1196.496826171875,
            "avg" : 575.1067587028537,
            "sum" : 397398.7702636719
          }
        },
        {
          "key" : "GB",
          "doc_count" : 449,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 93,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 93
              },
              {
                "key" : "Sunny",
                "doc_count" : 81
              },
              {
                "key" : "Clear",
                "doc_count" : 77
              },
              {
                "key" : "Cloudy",
                "doc_count" : 71
              },
              {
                "key" : "Heavy Fog",
                "doc_count" : 34
              }
            ]
          },
          "stats_price" : {
            "count" : 449,
            "min" : 111.34574890136719,
            "max" : 1197.78564453125,
            "avg" : 650.5326856005696,
            "sum" : 292089.17583465576
          }
        },
        {
          "key" : "AU",
          "doc_count" : 416,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 93,
            "buckets" : [
              {
                "key" : "Rain",
                "doc_count" : 80
              },
              {
                "key" : "Cloudy",
                "doc_count" : 75
              },
              {
                "key" : "Clear",
                "doc_count" : 73
              },
              {
                "key" : "Sunny",
                "doc_count" : 57
              },
              {
                "key" : "Hail",
                "doc_count" : 38
              }
            ]
          },
          "stats_price" : {
            "count" : 416,
            "min" : 102.2943115234375,
            "max" : 1197.6326904296875,
            "avg" : 669.5588319668403,
            "sum" : 278536.47409820557
          }
        },
        {
          "key" : "PL",
          "doc_count" : 405,
          "wather" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 90,
            "buckets" : [
              {
                "key" : "Clear",
                "doc_count" : 74
              },
              {
                "key" : "Rain",
                "doc_count" : 71
              },
              {
                "key" : "Cloudy",
                "doc_count" : 67
              },
              {
                "key" : "Sunny",
                "doc_count" : 66
              },
              {
                "key" : "Thunder & Lightning",
                "doc_count" : 37
              }
            ]
          },
          "stats_price" : {
            "count" : 405,
            "min" : 104.28328704833984,
            "max" : 1185.43701171875,
            "avg" : 662.4497233072917,
            "sum" : 268292.1379394531
          }
        }
      ]
    }
  }
}

 

laimao8079
关注
专栏目录
Elasticsearch 之聚合分析入门
武培轩
03-22 375
本文主要介绍 Elasticsearch 的聚合功能，介绍什么是 Bucket 和 Metric 聚合，以及如何实现嵌套的聚合。 首先来看下聚合（Aggregation）： 什么是 Aggregation？ 首先举一个生活中的例子，这个是京东的搜索界面，在搜索框中输入“华为”进行搜索，就会得到如上界面，搜索框就是我们常用的搜索功能，而下面这些，比如分类、热点、操作系统、CPU 类型等是根据 ES...
JAVA学习第21天； 聚合 aggregation
zzweixun的博客
12-29 818
条件查询CRUD 修改数据 update 表名 set 字段名=‘赋值’ ,字段名2=’‘赋值2’ 删除数据 delete from 表名 where 字段名=‘删除的数据’ oirder by 排序 默认是升序排序,字典排序,desc 是修改成降序排序 select*from 表名 oirder by 字段名 limit 限制,分页 selectfrom 表名 limit 2 一个数字代表是要展示多杀条 selec
java操作elasticsearch实现组合桶聚合
chenyuanbo_的博客
01-09 420
请点击以下链接跳转至本人博客园对应的博客文章：java操作elasticsearch实现组合桶聚合
ElasticSearch 聚合查询
热门推荐
ywl470812087的博客
03-24 11万+
价格总和： 1,使用aggs 2,自己起个名字price_of_sum 3,求和sum 4，filed要求和的字段 GET /lib5/items/_search { "aggs": { "price_of_sum": { "sum": { "field": "price" } } } } 聚合查询结果： { ...
ElasticSearch聚合查询
umgsai的专栏
03-25 225
ElasticSearch聚合查询 1.group distinct 参数：Set 返回结果：Map<Long, Set> select distinct(playCategory) group by uid { "from": 0, "size": 1, "query": { "bool": { "filter": [ { ...
Elasticsearch-入门到精通-4 聚合分析
莫失莫忘-云姐
03-08 626
文章目录聚合分析有四种五个简单示例1. 计算每个tag下的商品数量2、对名称中包含yagao的商品，计算每个tag下的商品数量3、先分组，再算每组的平均值，计算每个tag下的商品的平均价格4、计算每个tag下的商品的平均价格，并且按照平均价格降序排序5、按照指定的价格范围区间进行分组，然后在每组内再按照tag进行分组，最后再计算每组的平均价格聚合分析参考网址 聚合分析有四种 metrics,指标分...
MongoDB的聚合框架Aggregation Framework入门学习教程
09-10
MongoDB的聚合框架（Aggregation Framework）是数据库处理数据计算的核心工具，它允许开发者对数据进行复杂的分析和转换，以满足报告、统计和其他数据分析的需求。本教程将详细介绍MongoDB聚合框架的基本概念和常用...
Django Aggregation聚合使用方法解析
09-18
在Django中，Aggregation是一种强大的工具，它允许开发者对数据库中的数据进行统计计算，如求和、平均值、最大值、最小值等。在上述的模型定义中，我们有四个模型：Author、Publisher、Book和Store，它们代表了出版...
Django中Aggregation聚合的基本使用方法
09-16
Django的Aggregation功能还包括其他聚合函数，如`Sum`（求和）、`Count`（计数）、`StdDev`（标准差）、`Variance`（方差）等，以及更高级的聚合操作，如`GroupBy`和`F`表达式，它们可以用来创建更复杂的查询，如...
基于Java的his_inpatient_aggregation住院数据聚合设计源码
最新发布
09-28
该项目是一款基于Java的住院数据聚合系统源码，总计包含46个文件，涵盖38个Java源代码文件、3个XML配置文件、2个Git忽略文件、2个Markdown文件以及1个YAML文件，专注于住院数据的聚合与分析处理。
一起学Elasticsearch系列-Query DSL
BookSea的博客
01-01 1041
DSL是Domain Specific Language的缩写，指的是为特定问题领域设计的计算机语言。这种语言专注于某特定领域的问题解决，因而比通用编程语言更有效率
ElasticSearch 高级查询语法Query DSL 2
星空下的博客
07-04 1141
Elasticsearch除搜索以外，提供了针对ES 数据进行统计分析的功能。聚合(aggregations)可以让我们极其方便的实现对数据的统计、分析、运算。例如： 聚合的分类 Metric Aggregation：—些数学运算，可以对文档字段进行统计分析，类比Mysql中的 min(), max(), sum() 操作。 Bucket Aggregation： 一些满足特定条件的文档的集合放置到一个桶里，每一个桶关联一个key，类比Mysql中的group by操作。 Pipeline A
elasticsearch中的DSL语句操作
sutingStart的博客
03-01 1205
创建索引时，可以定义索引的结构和行为，例如分片数量、副本数量，以及字段的类型。更新设置，删除索引中的数据，以及整个索引的删除，都是索引生命周期的常见操作。Elasticsearch查询DSL非常灵活和强大，支持各种条件和结构复杂的查询，满足几乎所有搜索需求。在构造查询时，这些字段以JSON对象的形式组合在一起，形成对Elasticsearch数据的精确和高效查询。每个查询类型针对不同的使用场景和需求，从简单的文本匹配到基于地理位置和其他高级功能，为数据检索提供了广泛的可能性。查询指定字段中有值的文档。
Elasticsearch 聚合详情
gnufre的专栏
05-20 207
什么是聚合(Aggregation) Elasticsearch 除搜索以外，提供针对ES数据进行统计分析的功能 实时性高 Hadoop(T+1) 通过聚合，我们会得到一个数据的概览，是分析和总结全套数据，而不是寻找单个文档 统计到各个国家的航班 根据航班目的地统计机票的最大值，最小值、平均值等。 高性能，只需要一条语句，就可以从Elasticsearch 得到分析结果 Kibana 可视化报表 -- 聚合分析 公司程序员的工作岗位和技能分布 公司采用的编程框架分布 公司员.
ElasticSearch7：安装折腾、基本命令、搜索和高级查询、分词器、字段类型、kibana、实用技能、springboot整合、集群搭建、原理简介
小小的客栈 大大的江湖
03-05 1065
文章目录1、全文搜索说明2、单机安装（非集群）3、基本概念4、基本使用5、搜索的简单使用6、分词器7、字段类型8、Kibana的简单实用9、批量导入测试数据10、高级查询11、Elasticsearch的高级使用12、springboot整合Elasticsearch13、集群14、Elasticsearch原理 1、全文搜索说明 搜索，如果是结构化数据库，那么要搜索的内容一般是某个或多个字段，如...
ElasticSearch数据分片-数据路由
Felix_阳的博客
11-02 3013
ElasticSearch(简称ES)：是一个基于Lucene构建的开源、分布式、RESTful的全文本搜索引擎；它还是一个分布式实时文档存储，其中每个field均是被索引的数据且可被搜索；也是一个带实时分析功能的分布式搜索引擎，并且能够扩展至数以百计的服务器存储及处理PB级的数据。  倒排索引： 1、什么是node ES集群中每一个节点就是一个node，或者一个Elasticsearch实...
elasticsearch中aggregation的简单用法
格物致知
08-21 1万+
首先创建实例，以汽车经销商为例（数据主要包含：品牌、制造商、售价、销售时间等）POST /cars/transactions/_bulk { "index": {}} { "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" } { "index": {}} { "price" : 20000, "colo
聚集运算之group与aggregate
sb___itfk的专栏
11-17 1305
group 语法 db.collection.group({     key:{field:1},//按什么字段进行分组     initial:{count:0},//进行分组前变量初始化,该处声明的变量可以在以下回调函数中作为result的属性使用     cond:{},//类似mysql中的having,分组后的查询返回     reduce: function ( cur
ElasticSearch复杂查询-指标聚合、桶聚合
MuErHuoXu的博客
03-08 2231
结绳记事，思考、记录，方有成长~ 1.前言 ElasticSearch的聚合（Aggregations）功能非常强大，允许在数据上做复杂的统计。聚合分析功能主要有指标聚合、桶聚合、管道聚合和矩阵聚合四大类，管道聚合和矩阵聚合官方说明是在试验阶段，后期会完全更改或者移除。以下demo会从restful接口、java的API接口及SQL含义3个层面来阐述ES的聚合概念。 size如何理解 2.指标...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值