01.elasticsearch metric aggregation 查询

最新推荐文章于 2024-08-08 14:53:21 发布
最新推荐文章于 2024-08-08 14:53:21 发布
阅读量305 收藏
点赞数
分类专栏： # aggregate查询 文章标签： elasticsearch aggregation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013200380/article/details/109362943
版权

文章目录


elasticsearch的aggregate查询现在越来越丰富了，目前总共有4类。

  1. metric aggregation: 主要是min,max,avg,sum,percetile 等单个统计指标的查询,同时，可以用作bucket agg的子聚合查询，但是本身不能包含子查询
  2. bucket aggregation: 主要是类似group by的查询操作，而且可以含有子查询
  3. matrix aggregation: 使用多个字段的值进行计算从而产生一个多维矩阵
  4. pipline aggregation: 主要是能够在其他的aggregation进行一些附加的处理来增强数据

本篇就主要学习metric aggregation

1. 数据准备

演唱会的票信息
GET seats1028/_search

{
"play" : "Auntie Jo",   # 演唱会名称
"date" : "2018-11-6",  # 时间
"theatre" : "Skyline",  # 地点
"sold" : false,      # 这个票是否已经卖出
"actors" : [         # 演员
	"Jo Hangum",
	"Jon Hittle",
	"Rob Kettleman",
	"Laura Conrad",
	"Simon Hower",
	"Nora Blue"
        ],
"number" : 8,   #可以使用的人数（团体座位）
"datetime" : 1541497200000,
"price" : 8321,    # 票价
"tip" : 17.5,      # 优惠
"time" : "5:40PM"
}

总共有3w条这样的数据

2. metric aggregation分类

1 . Avg Aggregation : 求query出来的结果的average 值
2 . Weighted Avg Aggregation: 带权重的average值，可以选取另一个字段的值作为权重值
3 . Max Aggregation: 求query出来的结果的max值
4 . Min Aggregation: 求query出来的结果的min值
5 . Sum Aggregation: 求query出来的结果的sum值
6 . Value Count Aggregation: query出来的结果的某个field的的值的个数，注意可能这个field的值是一个数组则这个一个doc可能就贡献了多个value count
7 . Cardinality Aggregation: 某个filed的value去重后的count, 可以理解为value_count做了去重
8 . Percentiles Aggregation: 百分比求值，对于大小的数值，求百分位，比如响应时间的99分位，95分位等对应的具体响应时间是多少
9 . Percentile Ranks Aggregation: 某个具体的响应时间在总体中所处的分位值
10. Stats Aggregation: 上面value_count,min,max,sum,avg的快捷方式
11. Extended Stats Aggregation: 在stats的基础上增加了平方和、方差、标准差、平均值加/减两个标准差的区间
12. Top Hits Aggregation: 一般是嵌套查询，用在term查询当中，返回每个bucket的topN
13. Geo Bounds Aggregation: 地理位置的边界聚合
14. Geo Centroid Aggregation:
15. Scripted Metric Aggregation: 使用script的聚合
16. Median Absolute Deviation Aggregation: 平方差聚合

metric agg可以用作bucket agg的子聚合查询，但是metric agg 本身不能包含子查询

3.使用样例

1 . Avg Aggregation : 求query出来的结果的average 值

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    }
  }
}

返回

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "avg_price" : {
      "value" : 4995.498812220319
    }
  }
}

2 . Weighted Avg Aggregation: 带权重的average值，可以选取另一个字段的值作为权重值

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "avg_price": {
      "weighted_avg": {
        "value": {
          "field": "price"
        },
        "weight": {
          "field": "number"
        }
      }
    }
  }
}

返回
{
  "took" : 14,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "avg_price" : {
      "value" : 4981.713482182667
    }
  }
}

3 . Max Aggregation: 求query出来的结果的max值

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "max_price": {
      "max": {
        "field": "price"
      }
    }
  }
}
返回

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "max_price" : {
      "value" : 9999.0
    }
  }
}

4 . Min Aggregation: 求query出来的结果的min值

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "min_price": {
      "min": {
        "field": "price"
      }
    }
  }
}

返回

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "min_price" : {
      "value" : 0.0
    }
  }
}

5 . Sum Aggregation: 求query出来的结果的sum值

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "sum_price": {
      "sum": {
        "field": "price"
      }
    }
  }
}

返回

{
  "took" : 8,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "sum_price" : {
      "value" : 1.80847048E8
    }
  }
}

6 . Value Count Aggregation: query出来的结果的某个field的的值的个数，注意可能这个field的值是一个数组则这个一个doc可能就贡献了多个value count

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "count_price": {
      "value_count": {
        "field": "price"
      }
    }
  }
}


返回
{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "count_price" : {
      "value" : 36202
    }
  }
}

7 . Cardinality Aggregation: 某个filed的value去重后的count, 可以理解为value_count做了去重

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "unique_count_price": {
      "cardinality": {
        "field": "price"
      }
    }
  }
}


返回
{
  "took" : 13,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "unique_count_price" : {
      "value" : 9591
    }
  }
}

8 . Percentiles Aggregation: 百分比求值，对于大小的数值，求百分位，比如响应时间的99分位，95分位等对应的具体响应时间是多少

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "percentile_price": {
      "percentiles": {
        "field": "price"
      }
    }
  }
}


返回
{
  "took" : 56,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "percentile_price" : {
      "values" : {
        "1.0" : 100.22,
        "5.0" : 500.1716280451575,
        "25.0" : 2478.398741375389,
        "50.0" : 4990.070945393942,
        "75.0" : 7509.41570777247,
        "95.0" : 9487.07620155039,
        "99.0" : 9894.284278074867
      }
    }
  }
}

9 . Percentile Ranks Aggregation: 某个具体的响应时间在总体中所处的分位值

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "rank_price": {
      "percentile_ranks": {
        "field": "price",
        "values": [
          1000,
          2500
        ]
      }
    }
  }
}


返回
{
  "took" : 15,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "rank_price" : {
      "values" : {
        "1000.0" : 9.948376390210644,
        "2500.0" : 25.172259605722964
      }
    }
  }
}

10. Stats Aggregation: 上面value_count,min,max,sum,avg的快捷方式

GET seats1028/_search
{
  "size": 0,
  "aggs": {
    "stats_price": {
      "stats": {
        "field": "price"
      }
    }
  }
}


返回
{
  "took" : 9,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "stats_price" : {
      "count" : 36202,
      "min" : 0.0,
      "max" : 9999.0,
      "avg" : 4995.498812220319,
      "sum" : 1.80847048E8
    }
  }
}

11. top_hit

这个一般用于嵌套的子查询，比如下面的查询按照row划分bucket，然后找出每个bucket中的price最高的两个


GET seats1105/_search
{
  "size": 1,
  "query": {
    "match_all": {}
  },
  "aggs": {
    "row_term": {
      "terms": {
        "field": "row",
        "size": 10
      },
      "aggs": {
        "top_price": {
          "top_hits": {
            "size": 2,
            "sort": [
              {
                "price": {
                  "order": "desc"
                }
              }
            ]
          }
        }
      }
    }
  }
}

返回

  "aggregations" : {
    "row_term" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : 2,
          "doc_count" : 5796,
          "top_price" : {
            "hits" : {
              "total" : {
                "value" : 5796,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "seats1105",
                  "_type" : "_doc",
                  "_id" : "1957",
                  "_score" : null,
                  "_source" : {
                    "price" : 9998
                  },
                  "sort" : [
                    9998
                  ]
                },
                {
                  "_index" : "seats1105",
                  "_type" : "_doc",
                  "_id" : "7105",
                  "_score" : null,
                  "_source" : {
                    "price" : 9997
                  },
                  "sort" : [
                    9997
                  ]
                }
              ]
            }
          }
        },
        {
          "key" : 3,
          "doc_count" : 5796,
          "top_price" : {
            "hits" : {
              "total" : {
                "value" : 5796,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "seats1105",
                  "_type" : "_doc",
                  "_id" : "3993",
                  "_score" : null,
                  "_source" : {
                    "price" : 9999
                  },
                  "sort" : [
                    9999
                  ]
                },
                {
                  "_index" : "seats1105",
                  "_type" : "_doc",
                  "_id" : "6656",
                  "_score" : null,
                  "_source" : {
                    "price" : 9999
                  },
                  "sort" : [
                    9999
                  ]
                }
              ]
            }
          }
        },
        {
          "key" : 1,
          "doc_count" : 5791,
          "top_price" : {
            "hits" : {
              "total" : {
                "value" : 5791,
                "relation" : "eq"
              },
              "max_score" : null,
              "hits" : [
                {
                  "_index" : "seats1105",
                  "_type" : "_doc",
                  "_id" : "4321",
                  "_score" : null,
                  "_source" : {
                    "price" : 9999
                  },
                  "sort" : [
                    9999
                  ]
                },
                {
                  "_index" : "seats1105",
                  "_type" : "_doc",
                  "_id" : "8380",
                  "_score" : null,
                  "_source" : {
                    "price" : 9999
                  },
                  "sort" : [
                    9999
                  ]
                }
              ]
            }
          }
        }
    ]
  }
夜月行者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch 之 Metrics Aggregations（数值度量聚合）
天空之城
07-01 2157
Metrics Aggregations（数值度量聚合） 该系列中的聚合基于以某种方式从正在聚合的文档中提取的值来计算度量。这些值通常从文档的字段中提取(使用字段数据)，但也可以使用脚本生成。 数值度量聚合是一种输出数值的特殊类型的度量聚合。一些聚合输出单个数值度量（例如平均值），称为单值度量聚合，另一些输出多个度量值（例如统计数据），称为多值数值度量聚合。单值与多值数值度量聚合的区别是，他们充当...
Elasticsearch 之聚合分析
热门推荐
吴名氏的博客
11-15 4万+
Elasticsearch 之聚合分析
Elasticsearch学习---聚合查询之Metric Aggregations
自律使我自由
06-18 280
前言 Elasticsearch除搜索以外，还提供了针对数据统计分析的功能，通过各种API可以构建数据的复杂查询，不同类型的聚合查询都有自己的目的和输出，为了更好的理解这些类型，人们通常又会把它们分为四大类。 聚合类型四大类 Bucketing（桶聚合） 每个桶都与一个键和一个文档标准相关联，通过桶的聚合查询，我们将得到一个桶的列表，即：满足条件的文档集合。 Metric（指标） 计算一组文档的某些指标项的聚合 Matrix（矩阵） 可以对多个字段进行操作，并根据从请求的文档字段中提取的值生成一个结果矩阵
ElasticSearch聚合操作
Charge8的博客
06-20 2712
ElasticSearch聚合操作
Metric aggregation
彪叔的博客
09-13 515
https://www.elastic.co/guide/en/elasticsearch/reference/7.13/search-aggregations-metrics.html 这个类型的聚合操作根据选择的document 的 值 计算 指标。这个值可以从document 的 fields中提取，也可以通过脚本生成。 Numeric metrics aggregation 是一种特殊的metrics aggregation，它的输出为数值。 一些metrics aggregation输出一个数值度
Elasticsearch Aggregation 聚合查询
uxff的专栏
04-09 4466
聚合API ES中的Aggregations API是从Facets功能基础上发展而来，官网正在进行替换计划，建议用户使用Aggregations API，而不是Facets API。ES中的聚合上可以分为下面两类： metric（度量）聚合：度量类型聚合主要针对的number类型的数据，需要ES做比较多的计算工作 bucketing（桶）聚合：划分不同的“桶”，将数据分配到不同的“桶”...
es aggregation java_Java Elasticsearch 聚合查询(Aggregation)详解
weixin_36448245的博客
02-13 3288
Elasticsearch中的聚合查询，类似SQL的SUM/AVG/COUNT/GROUP BY分组查询，主要用于统计分析场景。这里主要介绍Java Elasticsearch 聚合查询的写法，如果不了解ES聚合查询，请参考 ES聚合查询基本概念和用法。例子import org.apache.http.HttpHost;import org.elasticsearch.action.search....
ES查询客户端，elasticsearch可视化工具
06-24
elasticsearch的客户端比较出名的就是elasticsearch head 和Kibana了， 但是elasticsearch head已经停止更新，且样式老旧，功能不全； 而Kibana虽功能全面，但是启动麻烦，大部分功能用不上，很不灵活，所以采用vite...
ES查询客户端，elasticsearch可视化工具 elasticsearch查询客户端
06-20
Elasticsearch查询客户端是用于与ES服务器通信的软件，它们提供了多种语言的API，允许开发者以编程方式执行索引、搜索、更新和删除等操作。常见的Elasticsearch客户端包括： - **Jest**：一个轻量级的Java REST...
Java如何使用elasticsearch进行模糊查询
08-25
Java 使用 Elasticsearch 进行模糊查询 Elasticsearch 是一个基于 Lucene 的搜索引擎，提供了强大的搜索功能。Java 可以通过 Elasticsearch 的 API 来使用这些功能。本文将介绍如何使用 Java 语言在 Elasticsearch ...
elasticsearch7.17.11版本分词器插件安装包
11-13
Elasticsearch（简称ES）是一款基于Lucene的分布式、RESTful搜索引擎，广泛应用于日志收集、数据分析等领域，是ELK（Elasticsearch、Logstash、Kibana）堆栈的重要组成部分。在处理中文数据时，合理的分词对于提升...
基于.netcore搜索封装ElasticSearch.zip
06-09
5. **高级查询**: Elasticsearch支持丰富的查询语法，如匹配查询、范围查询、布尔查询等，以及聚合功能，如术语聚合、桶聚合等，可用于复杂的数据分析和报表生成。 6. **性能优化**: 为了提升性能，可以设置映射...
ElasticSearch Scripted Metric
littleVv
09-29 4074
官方文档上关于这一部分的介绍，只有个简单的demo
Elasticsearch 8.X 聚合查询下的精度问题及其解决方案
铭毅天下Elasticsearch
07-08 1928
1、线上环境问题咕泡同学提问：我在看runtime文档的时候做个测试， agg求avg的时候不管是double还是long，数据都不准确，这种在生产环境中如何解决啊？2、问题归类及出现场景上述问题可以归类为：Elasticsearch聚合查询下的精度问题。在日常的数据处理工作中，我们经常会遇到使用Elasticsearch进行大数据查询、统计、聚合等操作。Elasticsearch在实践中表现出优...
es - elasticsearch - aggs - metrics - scripted_metric
我的博客
11-23 1263
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。 问：scripted_metrc有什么特点？ 答： 问：scripted_metric如何使用？ 答： DELETE /scripted_metric_test PUT /scripted_metric_test { "mappings": { "properties": { "type": {"type": "integer"}, "num": {"type": "integ.
Elasticsearch Scripted Metric Aggregation 自定义聚合
bigkeen的专栏
07-03 4693
1、首先创建所以： PUT test_date {   "settings":{       "number_of_shards":2,       "number_of_replicas":0   } } 2、创建索引结构 PUT test_date/tag_type/_mapping  {     "tag_type": {         "dynamic
举个栗子说明elasticsearch 的 scripted metric aggregation
一杯派蒙的博客
11-01 2264
说明scripted metric aggregation 的用法。 POST /dd/doc/_bulk?refresh {"index":{"_id":1}} {"name": "productA", "price": 1} {"index":{"_id":2}} {"name": "productA", "price": 2} {"index":{"_id":3}} {"name": "pr...
Elasticsearch Metric Aggregation指标聚合详解
qq_28834355的博客
10-29 893
PUT /my_index/_doc/_bulk { "index" : {} } {"ip":"192.168.0.1", "user":"张三"} { "index" : {} } {"ip":"192.168.0.1", "user":"李四"} { "index" : {} } {"ip":"192.168.0.1", "user":"王五"} { "index" : {} } {"ip":"192.168.0.2", "user":"小红"} { "index" : {} } {"ip":"192
ES架构模型
最新发布
08-08 544
作者：南墨。
es7的co.elastic.clients.elasticsearch.core.aggregations方法怎么使用
05-19
co.elastic.clients.elasticsearch.core.aggregations 是 Java 客户端 ElasticSearch 的一个聚合（Aggregation）方法，用于对数据进行分析和统计。 具体使用方法可以参考以下示例： ```java import co.elastic....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值