elasticsearch系统学习笔记9-聚合分析 Aggregations（补充1）

已于 2022-02-17 00:50:45 修改
阅读量1k 收藏
点赞数
分类专栏： elasticsearch系统学习笔记 文章标签： elasticsearch 学习 搜索引擎
于 2022-02-17 00:50:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013837825/article/details/122974702
版权

elasticsearch系统学习笔记9-聚合分析 Aggregations（补充1）

资料来源

1. 准备数据

PUT /cars_transactions
{
    "mappings": {
        "_doc": {
            "properties": {
                "color": {
                    "type": "keyword"
                },
                "make": {
                    "type": "text",
                    "fields": {
                        "keyword": {
                            "type": "keyword",
                            "ignore_above": 256
                        }
                    }
                },
                "price": {
                    "type": "long"
                },
                "sold": {
                    "type": "date"
                }
            }
        }
    }
}

POST /cars_transactions/_doc/_bulk
{ "index": {}}
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" }
{ "index": {}}
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" }
{ "index": {}}
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" }
{ "index": {}}
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" }
{ "index": {}}
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" }
{ "index": {}}
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

2. 基本聚合

GET /cars_transactions/_doc/_search
{
    "size" : 0,
    "aggs" : { 
        "popular_colors" : { 
            "terms" : { 
              "field" : "color"
            }
        }
    }
}
  1. 聚合操作被置于顶层参数 aggs 之下（如果你愿意，完整形式 aggregations 同样有效）
  2. 然后，可以为聚合指定一个我们想要名称，本例中是： popular_colors ；名字的选择取决于使用者，响应的结果会以我们定义的名字为标签
  3. 最后，定义单个桶的类型 terms ；这个 terms 桶会为每个碰到的唯一词项动态创建新的桶。 因为我们告诉它使用 color 字段，所以 terms 桶会为每个颜色动态创建新桶
  4. 聚合是在特定搜索结果背景下执行的， 这也就是说它只是查询请求的另外一个顶层参数（例如，使用 /_search 端点）。 聚合可以与查询结对
  5. 可能会注意到我们将 size 设置成 0 。我们并不关心搜索结果的具体内容，所以将返回记录数设置为 0 来提高查询速度
{
  "took": 7,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "popular_colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4
        },
        {
          "key": "blue",
          "doc_count": 2
        },
        {
          "key": "green",
          "doc_count": 2
        }
      ]
    }
  }
}
  1. 因为我们设置了 size 参数，所以不会有 hits 搜索结果返回。
  2. popular_colors 聚合是作为 aggregations 字段的一部分被返回的。
  3. 每个桶的 key 都与 color 字段里找到的唯一词对应。它总会包含 doc_count 字段，告诉我们包含该词项的文档数量。
  4. 每个桶的数量代表该颜色的文档数量。
  5. 前面的这个例子完全是实时执行的：一旦文档可以被搜到，它就能被聚合。这也就意味着我们可以直接将聚合的结果源源不断的传入图形库，然后生成实时的仪表盘

3. 添加度量指标

GET /cars_transactions/_doc/_search
{
   "size" : 0,
   "aggs": {
      "colors": {
         "terms": {
            "field": "color"
         },
         "aggs": { 
            "avg_price": { 
               "avg": {
                  "field": "price" 
               }
            }
         }
      }
   }
}
  1. 为度量新增 aggs 层。
  2. 为度量指定名字： avg_price 。
  3. 最后，为 price 字段定义 avg 度量。
{
  "took": 8,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4,
          "avg_price": {
            "value": 32500
          }
        },
        {
          "key": "blue",
          "doc_count": 2,
          "avg_price": {
            "value": 20000
          }
        },
        {
          "key": "green",
          "doc_count": 2,
          "avg_price": {
            "value": 21000
          }
        }
      ]
    }
  }
}

4. 嵌套桶

在我们使用不同的嵌套方案时，聚合的力量才能真正得以显现
令人激动的分析来自于将桶嵌套进 另外一个桶 所能得到的结果

GET /cars_transactions/_doc/_search
{
   "size" : 0,
   "aggs": {
      "colors": {
         "terms": {
            "field": "color"
         },
         "aggs": {
            "avg_price": { 
               "avg": {
                  "field": "price"
               }
            },
            "make_aggs": { 
                "terms": {
                    "field": "make.keyword" 
                }
            }
         }
      }
   }
}
  1. 注意前例中的 avg_price 度量仍然保持原位。
  2. 另一个聚合 make_aggs 被加入到了 color 颜色桶中。
  3. 这个聚合是 terms 桶，它会为每个汽车制造商生成唯一的桶。
  4. 一个聚合的每个 层级 都可以有多个 度量 或 桶
{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 8,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "colors": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "red",
          "doc_count": 4,
          "make_aggs": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "honda",
                "doc_count": 3
              },
              {
                "key": "bmw",
                "doc_count": 1
              }
            ]
          },
          "avg_price": {
            "value": 32500
          }
        },
        {
          "key": "blue",
          "doc_count": 2,
          "make_aggs": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "ford",
                "doc_count": 1
              },
              {
                "key": "toyota",
                "doc_count": 1
              }
            ]
          },
          "avg_price": {
            "value": 20000
          }
        },
        {
          "key": "green",
          "doc_count": 2,
          "make_aggs": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
              {
                "key": "ford",
                "doc_count": 1
              },
              {
                "key": "toyota",
                "doc_count": 1
              }
            ]
          },
          "avg_price": {
            "value": 21000
          }
        }
      ]
    }
  }
}
  1. 正如期望的那样，新的聚合嵌入在每个颜色桶中。
  2. 现在我们看见按不同制造商分解的每种颜色下车辆信息。
  3. 最终，我们看到前例中的 avg_price 度量仍然维持不变。

5. 最后的修改

GET /cars_transactions/_doc/_search
{
   "size" : 0,
   "aggs": {
      "colors": {
         "terms": {
            "field": "color"
         },
         "aggs": {
            "avg_price": { "avg": { "field": "price" }
            },
            "make" : {
                "terms" : {
                    "field" : "make.keyword"
                },
                "aggs" : { 
                    "min_price" : { "min": { "field": "price"} }, 
                    "max_price" : { "max": { "field": "price"} } 
                }
            }
         }
      }
   }
}

总结

灵活的嵌套方显聚合的强大

morningcat2018
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch--进阶-aggregations聚合分析_ES的强大的数据分析能力厉害啊---全文检索引擎ElasticSearch工作笔记016
添柴程序猿的专栏
02-09 604
然后我们开始来看es提供的aggregations 执行聚合,实际上就是数据的分析能力,很厉害 比如我们要找所有员工的地址包含了mill的所有人,然后这些人,比如35岁的有多少人,36岁的有多少人,找出他们的年龄分布. 先去官网看看文档,这个es,关于aggregations的介绍 然后我们再去看看,aggregations的语法. 然后可以看到,es针对数据分析提供了很多类的分析,比如有桶分析,有管道分析等等. 可以看到上面的语法,下面我们用的时候会具体介绍 然后..
【ElasticSearch（十）进阶】Aggregations执行聚合
u012161251的博客
08-24 546
【ElasticSearch(十)进阶】Aggregations执行聚合 聚合提供了从数据中分组和提取数据的能力。最简单的聚合方法大致等于 SQL GROUP BY 和 SQL 聚合函数。 在 ElasticSearch 中，你可以执行query和aggs(可以包含多个聚合)，返回 结果包含 hits(命中结果，可以查看 查询结果)，同时返回 aggregations(聚合结果)。使用一...
ElasticSearch - Aggregations 聚合分析
袭冷
02-15 1083
一、关于 1、说明 在 ElasticSearch 中，基于索引和检索的基础上，提供了聚合（Aggregations）的功能，对存储的数据进行统计和分析 在 ElasticSearch 中，将聚合分为 指标聚合（Metric）、存储桶聚合（Bucket）、管道聚合（Pipeline）三类 参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html ...
Aggregation-聚合查询
热门推荐
记录学习生活的点滴(Linux运维、java)
09-30 2万+
Aggregation： 参数说明：sql(Operators)      where ($match) 、group by ($group) 、having($match)、select($project)、order by($sort)、limit($limit)      sum($sum)、count($sum)、join($lookup) MongoVUE操作: S...
elasticsearch系统学习笔记9-聚合分析 Aggregations
晨猫
02-13 1192
elasticsearch系统学习笔记9-聚合分析 Aggregations概念分类指标聚合数据准备max 统计最大值min 统计最小值value_count 统计文档数量cardinality 基数统计（统计去重后的文档数量）avg 计算平均值sum 计算总和stats 基本统计extended_stats 高级统计percentiles 百分位统计桶聚合terms 分组聚合 概念 桶（Buckets） 满足特定条件的文档的集合；（类似 SQL 中的 group by） 指标（Metrics）
Java elasticsearch-rest-high-level-client 学习笔记2--聚合
晨猫
02-17 1188
准备数据来自elasticsearch系统学习笔记9-聚合分析 Aggregations（补充1） 基本流程 RestHighLevelClient restHighLevelClient = getRestHighLevelClient(); try { // 索引名 String indexName = "cars_transactions"; // 构建聚合语句 // 创建terms桶聚合 , 聚合名字 colors_agg , 根据 color 分组 Ter
elasticsearch系统学习笔记10--Scroll API 和 Bulk API 使用简介
晨猫
02-23 1439
Scroll API Search APIs->Request Body Search->Scroll While a search request returns a single “page” of results, the scroll API can be used to retrieve large numbers of results (or even all results) from a single search request, in much the same way as
elasticsearch学习笔记--聚合函数篇
wofozibei的博客
09-11 2623
Elasticsearch 有一个功能叫聚合（aggregations），允许我们基于数据生成一些精细的分析结果。聚合与 SQL 中的 GROUP BY 类似但更强大。 首先看一下我当前megacorp索引下employeetype中的数据,执行如下语句: 语句1:GET /megacorp/employee/_search { "query": { "match_all": {
【Elasticsearch】学习笔记-p7（数据聚合&自动补全）
2401_84557521的博客
04-25 746
aggs代表聚合，与query同级，此时query的作用是？限定聚合的的文档范围聚合必须的三要素：聚合名称聚合类型聚合字段size：指定聚合结果数量order：指定聚合结果排序方式field：指定聚合字段默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。：在tokenizer之前对文本进行处理。例如删除字符、替换字符tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；
最新版 elasticsearch-analysis-ik-7.14.1.zip
09-11
最新版 elasticsearch-analysis-ik-7.14.1.zip最新版 elasticsearch-analysis-ik-7.14.1.zip
elasticsearch-analysis-ik-8.11.0
11-27
elasticsearch-8.11.0的分词器，配合es同版本使用，有粗粒度和细粒度分词
ElasticSearch 学习笔记
01-20
文章目录ElasticSearch 学习笔记基本概念倒排索引timeout 超时Query 与 filter 的区别query全文检索短语检索高亮检索分组检索平均值的检索区间检索批量查询查询排序查询缓存文档替换与删除ES路由查询路由分词Mapping...
elasticsearch-analysis-ik-7.9.0.zip
09-08
Elasticsearch是一个高度可扩展的开源全文本搜索和分析引擎。它使您可以快速，近乎实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和要求的应用程序的基础引擎/技术。 elasticsearch-analysis-ik-...
elasticsearch-analysis-ik-7.12.1
05-08
IK Analysis for Elasticsearch
es索引同步
yusheng_xyb的博客
05-18 263
使用MQ的优势是代码解耦，但是需要处理消息可靠性的问题有一定的技术成本，做到消息可靠性需要做到生产者投递成功、消息持久化以及消费者消费成功三个方面，另外还要做好消息幂等性问题。通过向索引中添加文章信息最终实现了课 程的搜索，我们发现文章信息是先保存在关系数据库中，而后再写入索引，这个过程是将关系数据中的数据同步到elasticsearch索引中的过程，可以简单成为索引同步。为了避免重复索引已经存在且未更新的数据，可以使用增量同步策略，仅同步新增和更新的数据，同时删除已经被标记删除的数据。
Kubernetes部署ELK(filebeat+logstash+elasticsearch 8.x+kibana)收集linux系统日志
weixin_41489136的博客
05-18 251
主要修改input和output，我这个环境通过rsyslog将日志汇聚到了一台服务器的/home/log路径上，所以就写的/home/log下的文件。其中output指向es的开放端口。
Git常用操作
最新发布
Justice
05-21 269
合并分支a到分支b，–no-ff参数表示禁用Fast forward模式，合并后的历史有分支，能看出曾经做过合并，而-ff参数表示使用Fast forward模式，合并后的历史变成一条直线。rebase 不会产生新的提交，而是把当前分支的每一个提交都“复制”到目标分支上，然后再把当前分支指向目标分支，而merge会产生一个新的提交，这个提交有两个分支的所有修改。创建一个新的提交，用来撤销指定的提交，后者的所有变化将被前者抵消，并且应用到当前分支。查看所有本地分支，-r 查看远程分支，-a查看所有分支。
Docker常用的部署（Mysql | Nginx | RabbitMQ | Seata | ES）
程序员碎像的博客
05-18 161
常用的Docker部署
ElasticSearch 的 聚合（Aggregations）-javaAPI示例
06-10
好的，以下是一个简单的ElasticSearch聚合的Java API示例： ```java import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.Client; import org.elasticsearch.index.query....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值