elasticSearch核心概念的介绍（十）：指标聚合查询

已于 2023-02-07 09:12:45 修改
阅读量1.1k 收藏 1
点赞数 1
分类专栏： elasticSearch 文章标签： elasticsearch 大数据 java 聚合
于 2022-02-24 10:38:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40409260/article/details/123106440
版权

聚合查询之指标查询

上一章介绍基本的范围、布尔、排序查询，有兴趣的可以参考一下
elasticSearch核心概念的介绍（九）：范围、布尔、排序查询
这一章我们介绍了聚合查询的指标聚合

ES 聚合查询是什么
  • 聚合查询时数据库中重要的功能特性，完成对一个查询得到的数据集的聚合计算，如：找出某字段（或计算表达式的结果）的最大值、最小值、计算和、平均值等。ES作为搜索引擎，同样提供了强大的聚合分析能力。
  • 对一个数据集求最大、最小、和、平均值等指标的聚合，在ES 中成为指标聚合
  • 而关系型数据中除了有集合函数外，还可以对查询出的数据进行分组group by，再在祖上进行指标聚合，在ES 中称为 桶聚合
––
max最大数
min最小数
sum求和
avg平均数
value_count统计非空字段的文档数
Cardinality值去重
stats统计 count max min avg sum5个值
Extended stats比stats多4个统计：平方和、方差、标准差、平均值加/减两个标准差的区间
Percentiles占比百分位对应的值统计，默认返回[1,5,25,50,75,95,99]分位上的值

查询出平均球衣号

  • 请求

    curl -X POST "http://172.25.45.150:9200/nba/_search" -H 'Content-Type:application/json' -d '
{
    "query":{
        "match":{
            "name":"库里"
        }
    },
    "aggs":{
        "avgJer":{
           "avg":{
                "field":"jerse_no"
           }
        }
    }
}
'

  • 响应

    {
    "took": 3,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": 0.26706278,
        "hits": [
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "l4cuG38B4RxnBaUYPdnZ",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 30
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mIcuG38B4RxnBaUYWNko",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 23
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mYcuG38B4RxnBaUYadlM",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 35
                }
            }
        ]
    },
    "aggregations": {
        "avgJer": {
            "value": 29.333333333333332
        }
    }
}

Cardinality 去重

  • 请求

    curl -X POST "http://172.25.45.150:9200/nba/_search" -H 'Content-Type:application/json' -d '
{
    "query":{
        "match":{
            "name":"库里"
        }
    },
    "aggs":{
        "avgJer":{
           "cardinality":{
                "field":"position"
           }
        }
    }
}
'

  • 响应

    {
    "took": 21,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": 0.26706278,
        "hits": [
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "l4cuG38B4RxnBaUYPdnZ",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 30
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mIcuG38B4RxnBaUYWNko",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 23
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mYcuG38B4RxnBaUYadlM",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 35
                }
            }
        ]
    },
    "aggregations": {
        "avgJer": {
            "value": 1
        }
    }
}

stats 查出聚合集合

  • 请求

    curl -X POST "http://172.25.45.150:9200/nba/_search" -H 'Content-Type:application/json' -d '

{
    "query":{
        "match":{
            "name":"库里"
        }
    },
    "aggs":{
        "statsAge":{
           "stats":{
                "field":"jerse_no"
           }
        }
    }
}
'

  • 响应

    {
    "took": 10,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": 0.26706278,
        "hits": [
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "l4cuG38B4RxnBaUYPdnZ",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 30
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mIcuG38B4RxnBaUYWNko",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 23
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mYcuG38B4RxnBaUYadlM",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 35
                }
            }
        ]
    },
    "aggregations": {
        "statsAge": {
            "count": 3,
            "min": 23.0,
            "max": 35.0,
            "avg": 29.333333333333332,
            "sum": 88.0
        }
    }
}

Extended stats

  • 请求

    curl -X POST "http://172.25.45.150:9200/nba/_search" -H 'Content-Type:application/json' -d '
{
    "query":{
        "match":{
            "name":"库里"
        }
    },
    "aggs":{
        "extendStats":{
           "extended_stats":{
                "field":"jerse_no"
           }
        }
    }
}

'

  • 响应

    {
    "took": 20,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": 0.26706278,
        "hits": [
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "l4cuG38B4RxnBaUYPdnZ",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 30
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mIcuG38B4RxnBaUYWNko",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 23
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mYcuG38B4RxnBaUYadlM",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 35
                }
            }
        ]
    },
    "aggregations": {
        "extendStats": {
            "count": 3,
            "min": 23.0,
            "max": 35.0,
            "avg": 29.333333333333332,
            "sum": 88.0,
            "sum_of_squares": 2654.0,
            "variance": 24.22222222222217,
            "std_deviation": 4.921607686744462,
            "std_deviation_bounds": {
                "upper": 39.17654870682226,
                "lower": 19.490117959844408
            }
        }
    }
}

Percentiles 统计球衣号的占比

  • 请求

    curl -X POST "http://172.25.45.150:9200/nba/_search" -H 'Content-Type:application/json' -d '

{
    "query":{
        "match":{
            "name":"库里"
        }
    },
    "aggs":{
        "percentJerse":{
           "percentiles":{
                "field":"jerse_no"
           }
        }
    }
}
'

    • 当前我们也可以自定义百分位数，不使用默认的参数如下

      {
    "query":{
        "match":{
            "name":"库里"
        }
    },
    "aggs":{
        "percentJerse":{
           "percentiles":{
                "field":"jerse_no",
                "percents":[
                    20,
                    50,
                    75
                ]
           }
        }
    }
}

  • 响应

{
    "took": 14,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 3,
            "relation": "eq"
        },
        "max_score": 0.26706278,
        "hits": [
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "l4cuG38B4RxnBaUYPdnZ",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 30
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mIcuG38B4RxnBaUYWNko",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 23
                }
            },
            {
                "_index": "nba",
                "_type": "_doc",
                "_id": "mYcuG38B4RxnBaUYadlM",
                "_score": 0.26706278,
                "_source": {
                    "name": "库里",
                    "team_name": "勇士",
                    "position": "组织后卫",
                    "play_year": "10",
                    "jerse_no": 35
                }
            }
        ]
    },
    "aggregations": {
        "percentJerse": {
            "values": {
                "1.0": 22.999999999999996,
                "5.0": 23.0,
                "25.0": 24.75,
                "50.0": 30.0,
                "75.0": 33.75,
                "95.0": 35.0,
                "99.0": 35.0
            }
        }
    }
}
陈橙橙丶
关注
专栏目录
ES核心概念：文档字段映射类型
AI天才研究院
06-12 700
ES核心概念：文档、字段、映射、类型 1.背景介绍 1.1 Elasticsearch简介 1.1.1 什么是Elasticsearch Elastic
Elasticsearch学习笔记2：ES核心概念 -- 索引、倒排索引、类型、文档
Vincent9847的博客
06-26 1426
一、ES和关系型数据库的对比 Elasticsearch Relational DB 索引（index） 数据库（database） 类型（types） 表（tables） 文档（documents） 行（rows） fields 字段（columns） Elasticsearch（集群）中可以包含多个索引（数据库），每个索引中可以包含多个类型（表0，贝格类型下又包含多个文档（行），每个文档中又包含多个字段（列）。 1.Elasticsearch的物理设
elasticsearch聚合查询
warrah 南极狼
02-08 435
es 聚合复杂应用的实际运营，项目中实际用到的
elasticsearch 指标聚合 （aggretationmetric）
newbrid007的博客
08-12 293
{"size":"0", "aggs": { "profit": { "scripted_metric": { "init_script" : "state.transactions =[]", "map_script" : "state.transactions.add(doc['operatedate.keyword'].value.substring(0,4))",
Elasticsearch通过Http请求实现聚合分组及聚合计算查询
一恍过去
08-19 1万+
Elasticsearch通过Http请求实现聚合分组及聚合计算查询
Elasticsearch学习，请先看这一篇！
热门推荐
铭毅天下Elasticsearch
08-18 23万+
题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(mysql、sybase、oracle、达
ElasticSearch的_cat查看常见指标
weixin_45277567的博客
04-21 447
它会告诉您它是主节点还是副本节点、文档数量、它在磁盘上占用的字节数以及它所在的节点。返回有关集群中索引的高级信息，包括数据流的支持索引。返回主节点信息，包括ID、绑定的IP地址和名称。返回有关正在进行和已完成的分片恢复的信息，类似于。对于数据流，API 返回有关流的支持索引的信息。对于数据流，API 返回有关流的支持索引的信息。对于数据流，API 返回有关流的支持索引的信息。返回在集群的每个节点上运行的插件列表。返回有关数据馈送的配置和使用信息。返回有关自定义节点属性的信息。返回有关集群节点的信息。
Elasticsearch入门（五）：Elasticsearch基础概念与基本操作 文章中所用用到的 http 文件
04-28
首先，我们要了解Elasticsearch的核心概念： 1. **节点(Node)**：Elasticsearch是以节点的形式运行的，每个节点都是一个独立的Elasticsearch实例。节点之间可以相互连接，形成集群，共同存储和处理数据。 2. **...
聚合查询越来越慢？——详解Elasticsearch的Global Ordinals与High Cardinality
茅庐
10-22 1万+
本文结合笔者在实践过程中遇到的由High Cardinality引起Global Ordinals构建过慢，从而导致聚合查询变慢的问题，阐述了Elasticsearch中两个核心概念：Global Ordinals和High Cardinality。
elasticSearch查询语句DSL
06-27
首先，我们将学习DSL的基本结构和语法规则，包括查询、过滤器、聚合和排序等核心概念。通过深入了解DSL的语法，您将能够灵活地组合不同类型的查询条件，以实现精准的数据检索。接下来，我们将探讨DSL的高级特性和...
Elasticsearch聚集查询之指标聚集
morris
11-17 2523
聚集查询（Aggregation）提供了针对多条文档的统计运算功能，它不是针对文档本身内容的检索，而是要将它们聚合到一起运算某些方面的特征值。 聚集查询与SQL语言中的聚集函数非常像，聚集函数在Elasticsearch中相当于是聚集查询的一种聚集类型。比如在SQL中的avg函数用于求字段平均值，而在Elasticsearch中要实现相同的功能可以使用avg聚集类型。 聚集查询的格式 聚集查询也是通过_search接口执行，只是在执行聚集查询时使用的参数是aggregations或aggs。所以_searc
SpringCloud：ElasticSearch之数据聚合
时代各有不同，青春一脉相承。
04-18 454
聚合（aggregations） 可以让我们极其方便的实现对数据的统计、分析、运算。实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现近实时搜索效果。聚合常见的有三类：桶（Bucket） 聚合：用来对文档做分组；度量（Metric） 聚合：用以计算一些值，比如：最大值、最小值、平均值等；管道（pipeline） 聚合：其它聚合的结果为基础做聚合。注意： 参加聚合的字段必须是keyword、日期、数值、布尔类型。
elsearch
weixin_30363981的博客
09-12 320
1.ElasticSearch是性能优化的分布式全文搜索引擎，存储数据的载体是文档（Document），它的优势在于搜索速度快和支持聚合操作，在更新文档时，基本上能够达到实时搜索。ElasticSearch引擎总是按照文档标识来更新数据，并发控制是通过顺序的版本ID（version）实现的，控制写-写、写-读冲突，实现数据弱一致性。 2.在编入索引时，索引操作支持参数op_type，用于指定...
SpringCloud——分布式搜索elasticsearch之数据聚合
qq_52227892的博客
06-08 267
在Elasticsearch（ES）中，数据聚合是一种功能强大的操作，用于从大规模数据集中提取和计算有意义的汇总信息。聚合可以根据您定义的条件和规则，从原始数据中生成统计结果、分析指标、计算度量值等。
【ElasticSearch-聚合查询】ES聚合统计及springboot对比实现
qq_42890164的博客
01-26 2942
一文详解Elasticsearch中涉及的桶聚合、指标聚合、管道聚合及其所属各类函数使用及springboot对比实现
elastic常用查询
chaogaoxiaojifantong的博客
01-20 845
es_demand为索引 分页查询 GET /es_demand/_search { "from": 0, "size": 5 } 条件查询 GET /es_demand/_search { "from": 0, "size": 20, "query": { "bool": { "must": [ { "match": { "id": "1438111557757308928" }
el search模糊查询
jacke121的专栏
05-18 2980
import json from elasticsearch import Elasticsearch es = Elasticsearch(['192.168.55.90:9200']) source_arr = ["uri", "camera.deviceId", "photo.capturenum", "fileName","flag"] res = es.search(inde...
el search 查询排序
jacke121的专栏
05-18 2655
sort 与query是同级的 来源：https://stackoverflow.com/questions/20974964/python-custom-scripting-in-elasticsearch ​ "sort": [ { "_score": { "order": "desc" } } ], "query": { "function_score": { ...
Elasticsearch搜索引擎
最新发布
qq_53573029的博客
03-02 2184
什么是elaticsearch？一个开源的分布式搜索引擎，可以用来实现搜索，日志统计，分析，系统监控等功能什么是elastic stack（ELK）？是以elaticsearch为核心的技术栈，包括bears，Logstash，kibana，elaticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API什么是文档和词条？每一条数据就是一个文档对文档中的内容分词，得到的词语就是词条什么是正向索引？基于文档id创建索引，查询词条时必须先找到文档，而后判断是否包含词条。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

陈橙橙丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值