ElasticSearch查询之桶聚合查询

最新推荐文章于 2024-07-21 20:21:46 发布
最新推荐文章于 2024-07-21 20:21:46 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： ElasticSearch 文章标签： elasticsearch
原文链接：https://xdclass.net/#/index
版权

注： 本文学习自小d课堂Elasticsearch学习
以下的查询均采用kibana工具，写的比较初级，如果有错误的，或者有更方便的，请留言指正修改，谢谢

1、桶聚合查询，类似数据库查询的group by

  • 例一： 火箭队根据年龄分组
    使用aggs关键字–terms指定分组字段，size指定显示多少分组
GET /nba/_search
{
  "query": {
    "term": {
      "teamNameEn": {
        "value": "Rockets"
      }
    }
  },
  "aggs": {
    "ageGroup": {
      "terms": {
        "field": "age",
        "size": 10
      }
    }
  },
  "size": 0
}

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 21,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "ageGroup" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 3,
      "buckets" : [
        {
          "key" : 21,
          "doc_count" : 4
        },
        {
          "key" : 25,
          "doc_count" : 3
        },
        {
          "key" : 23,
          "doc_count" : 2
        },
        {
          "key" : 30,
          "doc_count" : 2
        },
        {
          "key" : 34,
          "doc_count" : 2
        },
        {
          "key" : 22,
          "doc_count" : 1
        },
        {
          "key" : 24,
          "doc_count" : 1
        },
        {
          "key" : 26,
          "doc_count" : 1
        },
        {
          "key" : 27,
          "doc_count" : 1
        },
        {
          "key" : 29,
          "doc_count" : 1
        }
      ]
    }
  }
}
  • 例二： 查询nba每个队的平均年龄，并按照平均年龄降序
  1. 按照球队分组
    在这里插入图片描述
  2. 计算每个球队的平均年龄
    在这里插入图片描述
  3. 排序
    在这里插入图片描述
GET /nba/_search
{
  "aggs": {
    "tearmGroup": {
      "terms": {
        "field": "teamNameEn",
        "size": 10,
        "order": {
          "avgAge": "desc"
        }
      },
      "aggs": {
        "avgAge": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  },
  "size": 0
}

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 566,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "tearmGroup" : {
      "doc_count_error_upper_bound" : -1,
      "sum_other_doc_count" : 381,
      "buckets" : [
        {
          "key" : "Bucks",
          "doc_count" : 14,
          "avgAge" : {
            "value" : 28.142857142857142
          }
        },
        {
          "key" : "Mavericks",
          "doc_count" : 20,
          "avgAge" : {
            "value" : 27.85
          }
        },
        {
          "key" : "Lakers",
          "doc_count" : 21,
          "avgAge" : {
            "value" : 27.714285714285715
          }
        },
        {
          "key" : "Raptors",
          "doc_count" : 17,
          "avgAge" : {
            "value" : 26.823529411764707
          }
        },
        {
          "key" : "Wizards",
          "doc_count" : 17,
          "avgAge" : {
            "value" : 26.823529411764707
          }
        },
        {
          "key" : "Heat",
          "doc_count" : 17,
          "avgAge" : {
            "value" : 26.764705882352942
          }
        },
        {
          "key" : "Rockets",
          "doc_count" : 21,
          "avgAge" : {
            "value" : 26.761904761904763
          }
        },
        {
          "key" : "Spurs",
          "doc_count" : 20,
          "avgAge" : {
            "value" : 26.75
          }
        },
        {
          "key" : "Jazz",
          "doc_count" : 17,
          "avgAge" : {
            "value" : 26.647058823529413
          }
        },
        {
          "key" : "Pistons",
          "doc_count" : 21,
          "avgAge" : {
            "value" : 26.476190476190474
          }
        }
      ]
    }
  }
}

排序时候也可以指定按照分组的和排序

GET /nba/_search
{
   "query": {
    "term": {
      "teamNameEn": {
        "value": "Rockets"
      }
    }
  },
  "aggs": {
    "aggsAge": {
      "terms": {
        "field": "age",
        "size": 10,
        "order": {
          "_count": "desc"
        }
      }
    }
  },
  "size": 30
}
  • 例三：分组筛选排序
    我们可以指定包括哪几个分组，或者排除哪几个
    include包含
    exclude排除
GET /nba/_search
{
  "aggs": {
    "tearmGroup": {
      "terms": {
        "field": "teamNameEn",
        "include": ["Hawks","Thunder"], 
        "size": 10,
        "order": {
          "avgAge": "desc"
        }
      },
      "aggs": {
        "avgAge": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  },
  "size": 0
}

也可以使用正则表达式

GET /nba/_search
{
  "aggs": {
    "tearmGroup": {
      "terms": {
        "field": "teamNameEn",
        "include": "Lakers|Ro.*|Warriors", 
        "size": 10,
        "order": {
          "avgAge": "desc"
        }
      },
      "aggs": {
        "avgAge": {
          "avg": {
            "field": "age"
          }
        }
      }
    }
  },
  "size": 0
}
  • 例四： 按照范围分组
    使用range关键字
    to：表示小于
    form： 表示大于
    下面的查询的意思是：
    统计age字段分别在20以下、20至35之间、35以后的球员个数
GET /nba/_search
{
  "aggs": {
    "groupAge": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "to": 20
          },
          {
            "to":20,
            "from": 35
          },
          {
            "from": 35
          }
        ]
      }
    }
  },
  "size": 0
}

返回

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 566,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "groupAge" : {
      "buckets" : [
        {
          "key" : "*-20.0",
          "to" : 20.0,
          "doc_count" : 15
        },
        {
          "key" : "35.0-20.0",
          "from" : 35.0,
          "to" : 20.0,
          "doc_count" : 0
        },
        {
          "key" : "35.0-*",
          "from" : 35.0,
          "doc_count" : 20
        }
      ]
    }
  }
}

也可以指定别名，也就是说，如果你的返回值不想是 “key” : “35.0-*”,这样子的，我们就可以起一个别名

GET /nba/_search
{
  "aggs": {
    "groupAge": {
      "range": {
        "field": "age",
        "ranges": [
          {
             "from": 35,
            "key":"a"
          }
        ]
      }
    }
  },
  "size": 0
}
  • 例五：按照日期范围聚合
    使用date_range
POST /nba/_search
{
 "aggs": {
 "birthDayRange": {
 "date_range": {
 "field": "birthDay",
 "format": "MM-yyy",
 "ranges": [
 {
 "to": "01-1989"
 },
 {
 "from": "01-1989",
 "to": "01-1999"
 },
 {
 "from": "01-1999",
 "to": "01-2009"
 },
 {
 "from": "01-2009"
 }
 ]
 }
 }
 },
 "size": 0
}
  • 例六：Date Histogram Aggregation 时间柱状图聚合
    按天、⽉、年等进⾏聚合统计。可按 year (1y), quarter (1q), month (1M), week (1w), day
    (1d), hour (1h), minute (1m), second (1s) 间隔聚合
    NBA球员按出⽣年分组
##查询每一年出生的球员有多少个
GET /nba/_search
{
  "aggs": {
    "yearList": {
      "date_histogram": {
        "field": "birthDay",
        "format": "yyyy", 
        "interval": "year"
      }
    }
  },"size": 5
}

#! Deprecation: [interval] on [date_histogram] is deprecated, use [fixed_interval] or [calendar_interval] in the future.
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 566,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "yearList" : {
      "buckets" : [
        {
          "key_as_string" : "1977",
          "key" : 220924800000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "1978",
          "key" : 252460800000,
          "doc_count" : 1
        },
        {
          "key_as_string" : "1979",
          "key" : 283996800000,
          "doc_count" : 0
        },
        {
          "key_as_string" : "1980",
          "key" : 315532800000,
          "doc_count" : 3
        },
        {
          "key_as_string" : "1981",
          "key" : 347155200000,
          "doc_count" : 2
        },
        {
          "key_as_string" : "1982",
          "key" : 378691200000,
          "doc_count" : 3
        },
        {
          "key_as_string" : "1983",
          "key" : 410227200000,
          "doc_count" : 2
        },
        {
          "key_as_string" : "1984",
          "key" : 441763200000,
          "doc_count" : 8
        },
        {
          "key_as_string" : "1985",
          "key" : 473385600000,
          "doc_count" : 15
        },
        {
          "key_as_string" : "1986",
          "key" : 504921600000,
          "doc_count" : 19
        },
        {
          "key_as_string" : "1987",
          "key" : 536457600000,
          "doc_count" : 16
        },
        {
          "key_as_string" : "1988",
          "key" : 567993600000,
          "doc_count" : 27
        },
        {
          "key_as_string" : "1989",
          "key" : 599616000000,
          "doc_count" : 24
        },
        {
          "key_as_string" : "1990",
          "key" : 631152000000,
          "doc_count" : 35
        },
        {
          "key_as_string" : "1991",
          "key" : 662688000000,
          "doc_count" : 31
        },
        {
          "key_as_string" : "1992",
          "key" : 694224000000,
          "doc_count" : 36
        },
        {
          "key_as_string" : "1993",
          "key" : 725846400000,
          "doc_count" : 46
        },
        {
          "key_as_string" : "1994",
          "key" : 757382400000,
          "doc_count" : 45
        },
        {
          "key_as_string" : "1995",
          "key" : 788918400000,
          "doc_count" : 57
        },
        {
          "key_as_string" : "1996",
          "key" : 820454400000,
          "doc_count" : 56
        },
        {
          "key_as_string" : "1997",
          "key" : 852076800000,
          "doc_count" : 57
        },
        {
          "key_as_string" : "1998",
          "key" : 883612800000,
          "doc_count" : 39
        },
        {
          "key_as_string" : "1999",
          "key" : 915148800000,
          "doc_count" : 28
        },
        {
          "key_as_string" : "2000",
          "key" : 946684800000,
          "doc_count" : 15
        }
      ]
    }
  }
}
synda@hzy
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch 复合查询
ywl470812087的博客
03-25 11万+
复合查询语句： #复合查询 GET /lib3/user/_search { "query": { "bool": { "must": { "match": {"interests": "changge" } }, "must_not": { "match": { "interests": "1vyou" }}, ...
ElasticSearch查询
时光刻下的容颜
08-31 425
最近遇到了一个叫ElasticSearch盆友，用它玩了一下查询游戏： List> dataList = new ArrayList>(); Client client = null; try{ //获取Elasticsearch client对象 client = getEsClient(); //设置查询条件（类似sql中 eventid = eventid )
深耕ElasticSearch - 条形图/按时间统计/范围限定的聚合
你今天真好看呀
12-29 1924
文章目录1. 数据准备2. 条形图3. 按时间统计3.1 按时间统计3.2 过滤掉空buckets3.3 指定时间区间3.4 ES 7.0版本的改变3.5 扩展例子4. 范围限定的聚合 1. 数据准备 1、创建索引映射mapping ： PUT /cars { "mappings": { "properties": { "price":{ "type": "integer" }, "color":{ "type": "keyw
ElasticSearch四 ElasticSearch底层原理与分组聚合查询
东风麦芽糖
02-26 1053
ElasticSearch文档分值_score计算底层原理 ES分词器工作流程 ES定制属于自己的分词器 IK分词器自定义词库 空间向量模型
ElasticSearch7.3学习(二十八)----聚合实战之电视案例
09-18 774
interval：2000，划分范围，左闭右开区间 ，[0~2000），2000~4000，4000~6000，6000~8000，8000~10000。这个第二个aggs内部，同样取个名字，执行一个metric操作，avg，对之前的每个bucket中的数据的指定的field，求一个平均值。bucket有了之后，一样的，去对每个bucket执行avg，count，sum，max，min，等各种metric操作，聚合分析。注意：因为是最近的时间，所以读者实验的时候，需根据当前时间来自行设置查询范围。
ElasticSearch一点点bucket跟metric语法
计算机王的博客
06-10 456
在划分区间的同时，histogram会类似terms进行数据数量的统计（count），可以通过嵌套aggs对聚合分组后的组内数据做再次聚合分析。在分组后，可能需要对组内的数据进行排序，并选择其中排名高的数据。对每个分组执行的count(size可以设置为0，表示不返回ES中的文档，只返回ES聚合之后的数据，提高查询速度，当然如果你需要这些文档的话，也可以按照实际情况进行设置。表现，会变成红色，所以说你的指定的field中，如果包含了那个搜索词的话，就会在那个field的文本中，对搜索词进行红色的高亮显示。
date_histogram的用法
热门推荐
qq_41611829的博客
06-03 1万+
目录 1.标准写法在kibana中 2.date_histogram支持了日期的表达式 3.时间返回结果格式化 4.time_zone时区的用法 5，offset 使用偏移值，改变时间区间 6.Missing Value缺省字段 7.其他 8.代码实现 https://blog.csdn.net/opera95/article/details/78614244 date_histogram（和histogram一样）默认只会返回文档数目非零的 buckets。 1.标准写法在k...
Elasticsearch聚合探索：桶聚合与度量聚合的区分与应用
07-02
Elasticsearch的聚合功能允许用户对数据进行汇总和分析，其中桶聚合和度量聚合是两种常用的聚合类型。本文将详细探讨这两种聚合的区别及其应用场景。 桶聚合和度量聚合在Elasticsearch中扮演着不同的角色，它们共同...
elasticaggregator-php:在 PHP 中更简单的 ElasticSearch 聚合查询
06-07
这将破坏与此初始版本的代码兼容性在任何查询级别支持多个聚合（当前所有分桶聚合都嵌套在前一个聚合中） 提高库的整体灵活性，现在这只适用于琐碎的用例为所有现有的聚合查询编写测试使用 4 个空格而不是制表符？...
es的简单查询和聚合查询用法说明
01-20
在本教程中，我们将深入探讨Elasticsearch的简单查询和聚合查询，帮助你更好地理解和应用这一强大的工具。 一、Elasticsearch的简单查询 简单查询是ES中最基础的搜索方式，主要包括以下几种类型： 1. **全文本...
elasticsearch脚本实现先聚合后过滤
03-02
在 Elasticsearch (ES) 中，聚合（Aggregations）是一种强大的功能，允许我们对索引中的数据进行统计分析，如求平均值、计数、分桶等。而在某些场景下，我们可能需要在聚合的基础上进一步过滤结果，即基于聚合的结果...
elasticsearch聚合值过滤
03-02
在 Elasticsearch（ES）中，聚合（Aggregations）是一种强大的数据汇总工具，允许用户对索引中的数据进行分组和统计分析。而“elasticsearch聚合值过滤”是ES聚合功能的一个高级应用场景，它允许我们根据聚合计算出...
Elasticsearch基础10——聚合分析
大风的博客
11-04 2471
聚合查询 在使用关系型数据库的时候，常常会用到group by等操作进行分组求和、求平均的操作。而Elasticsearch同样提供了分组计算的能力。 关系型数据库中使用Group by进行分组计算在Elasticsearch中成为桶聚合。 数据准备 使用聚合查询之前几篇的数据可能不太适合，现在重新模拟一些数据。 新建索引 PUT localhost:9200/employee 新建映射 PU...
ElasticSearch四：文档算分原理、分词器分词流程与自定义分词器、分词器热更新、高亮查询、组合查询、分组聚合语法
Xx__WangQi的博客
03-17 757
ElasticSearch四：文档算分原理、分词器分词流程与自定义分词器、分词器热更新、高亮查询、组合查询、分组聚合语法 回顾: 集群状态 如何快速了解集群的健康状况？green、yellow、red？ green：每个索引的primary shard和replica shard都是active状态的 yellow：每个索引的primary shard都是active状态的，但是部分replica shard不是active状态，处于不可用的状态 red：不是所有索引的primary shard
ElasticSearch-第四天
jiayoubaobei2的博客
03-19 413
es第四天
Elasticsearch-桶聚合查询详解
苍煜
04-03 2145
在之前我们详细面熟了es的查询用法，但是es还拥有强大的聚合查询功能，可以得到类似分组，直方图，折线图等数据组合。类似SQL的SUM、AVG、COUNT、GROUP BY Elasticsearch-02-es的restapi使用ES聚合查询类似SQL的GROUP by，一般统计分析主要分为两个步骤：es中满足特定条件的文档的集合，叫做桶。 桶的就是一组数据的集合，对数据分组后，得到一组组的数据，就是一个个的桶。ES中桶聚合，指的就是先对数据进行分组，ES支持多种分组条件，例如：支持类似SQL的group
elasticsearch中的聚合分组查询
qq_40708942的博客
12-05 4641
分组聚合及嵌套查询 聚合查询可以理解为SQL中的求和、求最大值、最小值以及求均值的需求 嵌套可以理解为es存值的某一个字段为对象属性的值做处理.Elasticsearch Java API分组与聚合结合 需要对多个字段分组 需要将分组结果的其他字段再进行统计的sum、min、max、avg聚合 只聚合不分组 简单的分组查询 解析查聚合结果 上面是最简单的一层聚合查询,其实其他复杂的聚合也都是大同小异,就是一个套娃的操作.复杂聚合查询 ElasticSearch Java API嵌套 上面E
Elasticsearch 桶总数聚合
小黑王HK
11-16 8600
桶总数聚合（sum bucket aggregation） 翻译源：[Elasticsearch 6.5 文档](https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-pipeline-sum-bucket-aggregation.html)
filebeat把日志文件上传到Es中配置（ES8版本）
最新发布
zhaojiyuan1024的博客
07-21 99
ES8版本默认生成的是数据流，不是默认的索引，这么配置生成的数据流名称就是idx_springboot，不是默认的filebeat了，如查索引发现生成长索引名是.ds-idx_springboot-2024.07.21-000001这种格式的，但我们配置视图时，选idx_springboot就行了。为保护我的个人隐私，有的生命周期名、索引名、模板名我做过修改，如发现有问题，可评论，或与我联系。
es查询nested类型聚合语法
06-15
在Elasticsearch中，`nested`类型用于表示嵌套的数据结构，例如文章中的评论或产品中的属性。当你需要对这些嵌套数据进行查询和聚合时，会用到特定的聚合语法。`nested`类型的聚合通常与`aggs`（聚合）和`bucket_sort`（桶排序）配合使用。 `nested`聚合的基本语法如下： ```json { "aggs": { "nested_agg": { "nested": { "path": "parent_field" }, // "parent_field"是你嵌套数据所在的上级字段名 "aggs": { "child_agg": { ... } // 这里是你对嵌套数据的子聚合，如`terms`、`avg`等 } } } } ``` 例如，假设你有一个文档模型，其中包含一个`comments`字段，每个评论都有`author`和`text`字段，你可以这样进行聚合： ```json { "aggs": { "by_author": { "nested": { "path": "comments" }, "aggs": { "top_comments": { "top_hits": { "_source": ["author", "text"], "size": 1 // 取出每个作者的最新一条评论 } } } } } } ``` 这将返回每个作者及其最新的评论。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值