Elasticsearch 聚合搜索的使用案例

最新推荐文章于 2023-07-10 15:58:21 发布
最新推荐文章于 2023-07-10 15:58:21 发布
阅读量1k 收藏 1
点赞数
文章标签： elasticsearch big data 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46040684/article/details/122827008
版权
Elasticsearch的聚合搜索

和mysql一样，Elasticsearch也支持对数据根据某一字段进行分组然后进行聚合分析。
Elasticsearch聚合搜索有两个比较常见并且重要的概念，bucket和metric。

  • Bucket，就是数据的分组，对某个字段进行分组的时候，这个字段值相同的那些数据就会被放到一个bucket中，SQL中的GROUP BY语法。
  • Metric，对一个数据分组执行的统计。当有了一堆bucket的时候，就可以对每个bucket中的数据进行聚合分析了。
数据准备

这里简单创建一个mapping，通过bulk的方式往里面插入几条数据，用于demo的操作。
需要注意的是聚合分析的字段需要设置 fielddata，不过keyword和date类型不需要单独设置。

PUT /phones
{
  "mappings": {
    "properties": {
      "price":{
        "type":"long"
      },
      "color":{
        "type": "keyword"
      },
      "brand":{
        "type": "keyword"
      },
      "release_date":{
        "type": "date"

      }
    }
  }
}

PUT /phones/_bulk
{"index":{}}
{"price":100,"color":"白色","brand":"小米","release_date":"2022-02-06"}
{"index":{}}
{"price":150,"color":"白色","brand":"小米","release_date":"2022-02-06"}
{"index":{}}
{"price":200,"color":"黑色","brand":"小米","release_date":"2022-02-08"}
{"index":{}}
{"price":250,"color":"黑色","brand":"小米","release_date":"2022-02-08"}
{"index":{}}
{"price":300,"color":"白色","brand":"华为","release_date":"2022-02-08"}
{"index":{}}
{"price":400,"color":"黑色","brand":"华为","release_date":"2022-02-10"}
{"index":{}}
{"price":500,"color":"灰色","brand":"华为","release_date":"2022-02-11"}
{"index":{}}
{"price":250,"color":"白色","brand":"苹果","release_date":"2022-02-11"}
统计各个品牌的phone数量

根据brand进行分组，默认聚合统计就会返回出对应bucket中的doc数量。
设置size为0表示不返回原数据。

GET /phones/_search
{
  "size":0,
  "aggs":{
    "group_brand":{
      "terms":{
        "field":"brand"
      }
    }
  }
}

返回结果，doc_count就表示bucket中的doc数量。

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_brand" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "小米",
          "doc_count" : 4
        },
        {
          "key" : "华为",
          "doc_count" : 3
        },
        {
          "key" : "苹果",
          "doc_count" : 1
        }
      ]
    }
  }
}
统计各个品牌的平均价格

先根据品牌进行分组，然后对price执行avg操作。

GET /phones/_search
{
  "size":0,
  "aggs": {
    "group_brand": {
      "terms": {
        "field": "brand",
        "size": 10
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回结果，bucket内多了一个avg_price字段，就是平均价格。

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_brand" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "小米",
          "doc_count" : 4,
          "avg_price" : {
            "value" : 175.0
          }
        },
        {
          "key" : "华为",
          "doc_count" : 3,
          "avg_price" : {
            "value" : 400.0
          }
        },
        {
          "key" : "苹果",
          "doc_count" : 1,
          "avg_price" : {
            "value" : 250.0
          }
        }
      ]
    }
  }
}
统计各个品牌每种颜色的平均价格

先根据品牌分组再根据颜色分组，然后再求平均价格

GET /phones/_search
{
  "size": 0,
  "aggs": {
    "group_brand": {
      "terms": {
        "field": "brand"
      },
      "aggs": {
        "group_brand_color":{
          "terms": {
            "field": "color"
          },
          "aggs": {
            "brand_color_avg_price": {
              "avg": {
                "field": "price"
              }
            }
          }
        }
      }
    }
  }
}

返回结果

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_brand" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "小米",
          "doc_count" : 4,
          "group_brand_color" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "白色",
                "doc_count" : 2,
                "brand_color_avg_price" : {
                  "value" : 125.0
                }
              },
              {
                "key" : "黑色",
                "doc_count" : 2,
                "brand_color_avg_price" : {
                  "value" : 225.0
                }
              }
            ]
          }
        },
        {
          "key" : "华为",
          "doc_count" : 3,
          "group_brand_color" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "灰色",
                "doc_count" : 1,
                "brand_color_avg_price" : {
                  "value" : 500.0
                }
              },
              {
                "key" : "白色",
                "doc_count" : 1,
                "brand_color_avg_price" : {
                  "value" : 300.0
                }
              },
              {
                "key" : "黑色",
                "doc_count" : 1,
                "brand_color_avg_price" : {
                  "value" : 400.0
                }
              }
            ]
          }
        },
        {
          "key" : "苹果",
          "doc_count" : 1,
          "group_brand_color" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : "白色",
                "doc_count" : 1,
                "brand_color_avg_price" : {
                  "value" : 250.0
                }
              }
            ]
          }
        }
      ]
    }
  }
}
统计品牌下价格的最大、最小、平均、总和
GET /phones/_search
{
  "size": 0,
  "aggs": {
    "group_by_brand": {
      "terms": {
        "field": "brand"
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        },
        "max_price":{
          "max": {
            "field": "price"
          }
        },
        "min_price":{
          "min": {
            "field": "price"
          }
        },
        "sum_price":{
          "sum": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回结果

{
  "took" : 0,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "group_by_brand" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : "小米",
          "doc_count" : 4,
          "max_price" : {
            "value" : 250.0
          },
          "min_price" : {
            "value" : 100.0
          },
          "avg_price" : {
            "value" : 175.0
          },
          "sum_price" : {
            "value" : 700.0
          }
        },
        {
          "key" : "华为",
          "doc_count" : 3,
          "max_price" : {
            "value" : 500.0
          },
          "min_price" : {
            "value" : 300.0
          },
          "avg_price" : {
            "value" : 400.0
          },
          "sum_price" : {
            "value" : 1200.0
          }
        },
        {
          "key" : "苹果",
          "doc_count" : 1,
          "max_price" : {
            "value" : 250.0
          },
          "min_price" : {
            "value" : 250.0
          },
          "avg_price" : {
            "value" : 250.0
          },
          "sum_price" : {
            "value" : 250.0
          }
        }
      ]
    }
  }
}
根据价格范围划分bucket

按照价格范围，以100为粒度进行分组。

GET /phones/_search
{
  "size": 0,
  "aggs": {
    "range_price": {
      "histogram": {
        "field": "price",
        "interval": 100
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回结果

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "range_price" : {
      "buckets" : [
        {
          "key" : 100.0,
          "doc_count" : 2,
          "avg_price" : {
            "value" : 125.0
          }
        },
        {
          "key" : 200.0,
          "doc_count" : 3,
          "avg_price" : {
            "value" : 233.33333333333334
          }
        },
        {
          "key" : 300.0,
          "doc_count" : 1,
          "avg_price" : {
            "value" : 300.0
          }
        },
        {
          "key" : 400.0,
          "doc_count" : 1,
          "avg_price" : {
            "value" : 400.0
          }
        },
        {
          "key" : 500.0,
          "doc_count" : 1,
          "avg_price" : {
            "value" : 500.0
          }
        }
      ]
    }
  }
}
按天统计价格总和

date_histogram可以对时间范围进行分组，这里是按天分组。

GET /phones/_search
{
  "size": 0,
  "aggs": {
    "range_date": {
      "date_histogram": {
        "field": "release_date",
        "calendar_interval": "day",
        "format": "yyyy-MM-dd",
        "min_doc_count": 1, 
        "extended_bounds": {
          "min": "2022-02-05",
          "max": "2022-02-15"
        }
      },
      "aggs": {
        "sum_price": {
          "sum": {
            "field": "price"
          }
        }
      }
    }
  }
}

返回结果

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 8,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "range_date" : {
      "buckets" : [
        {
          "key_as_string" : "2022-02-06",
          "key" : 1644105600000,
          "doc_count" : 2,
          "sum_price" : {
            "value" : 250.0
          }
        },
        {
          "key_as_string" : "2022-02-08",
          "key" : 1644278400000,
          "doc_count" : 3,
          "sum_price" : {
            "value" : 750.0
          }
        },
        {
          "key_as_string" : "2022-02-10",
          "key" : 1644451200000,
          "doc_count" : 1,
          "sum_price" : {
            "value" : 400.0
          }
        },
        {
          "key_as_string" : "2022-02-11",
          "key" : 1644537600000,
          "doc_count" : 2,
          "sum_price" : {
            "value" : 750.0
          }
        }
      ]
    }
  }
}
不爱吃米饭。
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java使用elasticsearch分组进行聚合查询过程解析
08-25
Java 使用 Elasticsearch 进行分组聚合查询过程解析 Java 使用 Elasticsearch 进行分组聚合查询是一个常见的需求，特别是在大数据处理和数据分析领域。Elasticsearch 提供了强大的聚合功能，可以对数据进行分组、...
Elasticsearch脚本教程——计算日期生成分组
neweastsun的专栏
03-22 2998
Elasticsearch脚本教程——计算日期生成分组 本文我们一起通过实例实战Elasticsearch的Painless脚本。 1. 概述 本文环境为Elasticsearch 7.x版本，主要使用Painless脚本。 需求说明：我们有日志数据，字段分别为name、start_date、close_date.现在需要计算两个日期之差并对结果进行分组。 日期差以分钟为单位： * 0~30 分钟...
Python - Elasticsearch ES 查历史数据平均值
Max's Note
08-05 3950
Python - Elasticsearch ES 查历史数据平均值 Max.Bai 2020-08 需求： 查询最近12 小时的数据按照每10分钟分组统计数量 同时查询过去7天的同时段的数据平均值，同时段的70%值（从高到低排序，70%位置的数量） 比如 最近12小时中12:00-12:10 这个时段 ，过去7天的同时段，7天平均值是多少，过去7天同时段数量排序大到小，70%线数量是多少 查询代码： end_time = int(time.time()) # 时间范围结
elasticSearch聚合查询案例（按照小时、天统计数据）
weixin_43704834的博客
10-19 7159
es查询json { "from": 0, "size": 0, "query": { "bool": { "must": [ { "match_all": {} } ], "must_not": [], "should": [] } }, "aggs": { "group_by_captureTime": { "date_histogram": {
ES SQL使用说明文档
weixin_30244889的博客
06-17 3287
ES SQL使用说明文档 一、Elasticsearch术语介绍 l 接近实时（NRT）： Elasticsearch 是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个很小的延迟，包括如果做了集群的话，集群中的各个节点数据同步也是接近实时的。 l 集群（cluster）： 一组拥有共同的 cluster name 的节点。 l 节点（node）： ...
ElasticSearch｜按天聚合统计数量
长行
07-10 455
字段按天聚合，统计每一天的数量。的有 4200 条，日期为。的也有 4200 条。
基于.netcore搜索封装ElasticSearch.zip
06-09
在.NET Core开发中，Elasticsearch已经成为一种广泛使用的全文搜索引擎，它提供了高度可扩展性和实时分析功能。这个名为"基于.netcore搜索封装ElasticSearch.zip"的压缩包，显然包含了一个针对.NET Core平台的...
elasticsearch数据库下载、配置、使用案例
最新发布
06-27
本资源是一个全面指南，涵盖了Elasticsearch数据库的下载、配置到高级使用案例，旨在帮助初学者和开发者快速掌握Elasticsearch的强大功能。 Elasticsearch，作为一款流行的开源搜索引擎，基于Lucenece开发，设计...
Elasticsearch分布式搜索模型的实际应用小案例
01-10
Elasticsearch是一个开源的分布式搜索和分析引擎，构建在Apache Lucene之上。它提供了一套强大的API和工具，可以实现分布式全文搜索、结构化和非结构化数据分析、日志存储和实时数据可视化等功能。 以下是一些...
ES 21 - 通过 Elasticsearch 实现聚合检索 (分组统计)
xiangjai的专栏
10-17 6762
目录 1 普通聚合分析 1.1 直接聚合统计 1.2 先检索, 再聚合 1.3 扩展: fielddata和keyword的聚合比较 2 嵌套聚合 2.1 先分组, 再聚合统计 2.2 先分组, 再统计, 最后排序 2.3 先分组, 组内再分组, 然后统计、排序 1 普通聚合分析 1.1 直接聚合统计 (1) 计算每个tag下的文档数量, 请求语法: GET book_shop/it_book/_search { "size": 0, // 不显示命..
ElasticSearch中使用“group by“ 统计 （ElasticsearchTemplate进行聚合查询）
不会吉他的肌肉男不是好的挨踢男的专栏
05-20 4087
我用的es是 6.8.1 如果我们想在es实现sql 中的group by的查询统计效果 SELECT COUNT(id) FROM patientstudy GROUP BY hospitalId; 在kibana中执行命令 POST /patientstudy/_search?size=0 { "aggs" : { "count" : { "terms" : { "field" : "hospitalId" } } } } 看结果 用java怎么实现呢 pub.
es 时间字段聚合_es Elasticsearch 时间分组聚合查询
weixin_34898216的博客
12-29 4460
正常业务逻辑中，会出现大量的数据统计，比如说分组聚合查询，根据天进行数据的统计，记录下es分组聚合查询{"size": 0,"aggs": {"groupDate": {"date_histogram": {"field": "create_date","interval": "day","format": "yyyy-MM-dd"}}}}此处使用按天分组，可用的时间间隔表达式：year, qua...
ElasticSearch多字段分组聚合VS mysql group by a,b
OliverCaro的博客
10-14 1995
一、ElasticSearch的分组聚合 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-terms-aggregation.html#_multi_field_terms_aggregation 实现背景：实现类似SQL的group by功能： select team,age from a_person group by team,age; 二、多
Elasticsearch多字段分组聚合, 并对分组聚合的count进行筛选
热门推荐
大白能的博客
11-22 4万+
前提 假设我们的文档包括以下几个字段 : activityId, clientIp, orderNumber 目标 依据activityId(策略ID) + clientIp(IP地址)分组聚合, 查找相同策略ID+相同IP下订单数目超过2的聚合结果 实现 { "request_body": { // 不返回具体的查询数据 "size": 0, "aggs": {
【原创】ElasticSearch使用Java代码group by多个字段查询统计数量
DCTANT的博客
09-30 5518
这篇文章主要介绍group by多个字段查询，这方面的资料在全网都非常少，而我这边的需求需要group by三个字段，而不是仅仅一个字段，大大增加了检索资料的难度，还好这问题被我解决了，多亏了公司里的老程序员。 首先自然是在SpringBoot代码中引入ES查询的client Maven依赖： <dependency> <groupId>org.elasticsearch.client</groupId> .
【ELK】（四）Elasticsearch 聚合查询与多维度数据统计
云祁QI
12-03 6104
文章目录搜索聚合高阶概念 搜索 即从一个索引下按照特定的字段或关键词搜索出符合用户预期的一个或者一堆cocument，然后根据文档的相关度得分，在返回的结果集里并根据得分对这些文档进行一定的排序。 聚合 根据业务需求，对文档中的某个或某几个字段进行数据的分组并做一些指标数据的统计分析，比如要计算一批文档中某个业务字段的总数，平均数，最大最小值等，都属于聚合的范畴。 以上两个概念后是理解下面实验的基...
Elasticsearch实战之典型案例
搓搓那年时光静好
01-30 3301
理解什么是搜索引擎,以及它们能解决什么样的问题 Elasticsearch典型使用场景 Elasticsearch的功能 Elasticsearch特点 Elasticsearch适用场景 1.1 理解什么是搜索引擎,以及它们能解决什么样的问题 返回相关数据结果,返回统计信息,非常快速地完成,可以在关系型数据库上搭建搜索引擎,建立索引并加速查询执行,或者也可以从NoSQL数据存储上建立...
Elasticsearch 在互联网公司大量真实的应用案例
程序猿DD
03-27 1697
点击上方蓝色“程序猿DD”，选择“设为星标”回复“资源”获取独家整理的学习资料！来源 |http://suo.im/6vxt6A国内现在有大量的公司都...
elasticsearch搜索示例
滕王阁子安的博客
09-14 462
目录 一、测试及添加数据 二、开始搜索 三、分析与汇总结果 一、测试及添加数据 使用cat health API验证elasticsearch是否正在运行。cat API以比原始JSON更易于阅读的格式返回有关集群和索引的信息。 curl -X GET "localhost:9200/_cat/health?v&pretty" 如果您仅运行单个Elasticsearch实例，则集群状态将保持黄色。单节点群集具有完整的功能，但是无法将数据复制到另一个节点以提供弹性。副本分片必须可用，.
elasticsearch/elasticsearch 8 使用案例
02-22
以下是一些elasticsearch/elasticsearch 8的使用案例： 1. 日志分析：Elasticsearch可以用于实时收集、存储和分析大量的日志数据。通过将日志数据索引到Elasticsearch中，可以快速搜索和查询特定的日志信息，进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值