聚合在Elasticsearch中的使用及示例验证

最新推荐文章于 2024-04-30 13:46:57 发布
最新推荐文章于 2024-04-30 13:46:57 发布
阅读量937 收藏
点赞数
分类专栏： elasticsearch 文章标签： 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C1041067258/article/details/132071448
版权

聚合在Elasticsearch中的使用

系统中使用的ES环境不一定每篇文章都有，但是可以在合集中找到，关注《醉鱼Java》一起进步

环境

  • elasticsearch 8.1

搭建

version: '3.8'
services:
  cerebro:
    image: lmenezes/cerebro:0.8.3
    container_name: cerebro
    ports:
     - "9000:9000"
    command:
     - -Dhosts.0.host=http://eshot:9200
    networks:
     - elastic
  kibana:
    image: docker.elastic.co/kibana/kibana:8.1.3
    container_name: kibana
    environment:
      - I18N_LOCALE=zh-CN
      - XPACK_GRAPH_ENABLED=true
      - TIMELION_ENABLED=true
      - XPACK_MONITORING_COLLECTION_ENABLED="true"
      - ELASTICSEARCH_HOSTS=http://eshot:9200
      - server.publicBaseUrl=http://192.168.160.234:5601
    ports:
      - "5601:5601"
    networks:
      - elastic
  eshot:
    image: elasticsearch:8.1.3
    container_name: eshot
    environment:
      - node.name=eshot
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=hot
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eshot\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eshot\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    ports:
      - 9200:9200
    networks:
      - elastic
  eswarm:
    image: elasticsearch:8.1.3
    container_name: eswarm
    environment:
      - node.name=eswarm
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=warm
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eswarm\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eswarm\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic
  escold:
    image: elasticsearch:8.1.3
    container_name: escold
    environment:
      - node.name=escold
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=cold
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\escold\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\escold\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic

# volumes:
#   eshotdata:
#     driver: local
#   eswarmdata:
#     driver: local
#   escolddata:
#     driver: local

networks:
  elastic:
    driver: bridge

什么是聚合？

在Elasticsearch中，聚合是一种功能强大的数据处理技术，它允许我们对索引中的数据进行多种计算和分析操作。聚合可以理解为对数据集进行分组，并在每个分组上执行各种指标计算，类似于SQL中的GROUP BY和聚合函数。

示例数据

为了验证聚合功能，我们将使用一个示例数据集，假设我们有一个存储了商品信息的索引，包含以下字段：

  1. product_name：商品名称
  2. category：商品分类
  3. price：商品价格
  4. quantity：商品数量
  5. manufacturer：制造商
  6. timestamp：记录时间戳

下面我们导入测试数据

创建索引

PUT /zfc-doc-000001
{
  "settings": {
    "index":{
      "number_of_shards":3,
      "number_of_replicas":2
    }
  },
  "mappings": {
    "properties": {
      "product_name":{
        "type":"keyword"
      },
      "category":{
        "type":"keyword"
      },
      "price":{
        "type": "integer"
      },
      "quantity":{
        "type": "integer"
      },
      "manufacturer":{
        "type": "keyword"
      },
      "timestamp":{
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" 
      }
    }
  }
}

添加数据

PUT _bulk
{"index":{"_index":"zfc-doc-000002","_id":"1"}}
{"product_name": "iPhone 12","category": "Electronics","price": 999,"quantity": 50,"manufacturer": "Apple","timestamp": "2023-07-24 10:00:00"}
{"index":{"_index":"zfc-doc-000002","_id":"2"}}
{"product_name": "Samsung Galaxy S21","category": "Electronics","price": 799,"quantity": 30,"manufacturer": "Samsung","timestamp": "2023-07-24 11:30:00"}
{"index":{"_index":"zfc-doc-000002","_id":"3"}}
{"product_name": "Sony Bravia 65-inch TV","category": "Electronics","price": 1499,"quantity": 20,"manufacturer": "Sony","timestamp": "2023-07-24 13:15:00"}
{"index":{"_index":"zfc-doc-000002","_id":"4"}}
{"product_name": "HP Spectre x360","category": "Electronics","price": 1299,"quantity": 25,"manufacturer": "HP","timestamp": "2023-07-24 15:45:00"}
{"index":{"_index":"zfc-doc-000002","_id":"5"}}
{"product_name": "Dell XPS 15", "category": "Electronics","price": 1399,"quantity": 15,"manufacturer": "Dell","timestamp": "2023-07-24 17:20:00"}
{"index":{"_index":"zfc-doc-000002","_id":"6"}}
{"product_name": "Nike Air Zoom Pegasus 38", "category": "Sports","price": 119,"quantity": 100,"manufacturer": "Nike","timestamp": "2023-07-24 09:30:00"}
{"index":{"_index":"zfc-doc-000002","_id":"7"}}
{"product_name": "Adidas Ultraboost 21","category": "Sports","price": 129,"quantity": 80,"manufacturer": "Adidas","timestamp": "2023-07-24 10:45:00"}
{"index":{"_index":"zfc-doc-000002","_id":"8"}}
{"product_name": "Canon EOS Rebel T7i","category": "Electronics","price": 699,"quantity": 10,"manufacturer": "Canon","timestamp": "2023-07-24 14:05:00"}
{"index":{"_index":"zfc-doc-000002","_id":"9"}}
{"product_name": "LG 55-inch 4K TV", "category": "Electronics","price": 899,"quantity": 30,"manufacturer": "LG","timestamp": "2023-07-24 16:30:00"}
{"index":{"_index":"zfc-doc-000002","_id":"10"}}
{"product_name": "Lenovo ThinkPad X1 Carbon", "category": "Electronics","price": 1599,"quantity": 18,"manufacturer": "Lenovo","timestamp": "2023-07-24 18:10:00"}

聚合示例

1. 词条聚合（Terms Aggregation）

词条聚合是一种用于对文本字段进行分组的聚合方式，它会将相同值的文档分到同一个桶（Bucket）中，并计算每个桶中文档的数量。

示例查询：

GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "category_count": {
      "terms": {
        "field": "category",
        "size": 10
      }
    }
  }
}

解释：

  • "size": 0：表示只返回聚合结果，不返回实际文档数据。

  • "aggs"：定义聚合操作。

  • "category_count"：自定义的聚合名称，用于标识结果。

  • "terms"：指定使用词条聚合。

  • "field": "category"：指定要进行聚合的字段。

2. 嵌套聚合（Nested Aggregation）

嵌套聚合允许在一个桶内进行更深层次的聚合操作。例如，我们可以先按分类分组，然后在每个分类内再按制造商进行分组，并计算每个分类下的平均价格。

示例查询：

GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "category_group": {
      "terms": {
        "field": "category",
        "size": 10
      },
      "aggs": {
        "avg_price": {
          "avg": {
            "field": "price"
          }
        }
      }
    }
  }
}

解释：

  • "aggs"：定义聚合操作。
  • "category_group"：自定义的聚合名称，用于标识结果。
  • "terms"：指定使用词条聚合。
  • "field": "category"：指定要进行聚合的字段。
  • "avg_price"：自定义的聚合名称，用于标识结果。
  • "avg"：指定使用平均值聚合。
  • "field": "price"：指定要进行聚合的数值字段。
3.直方图聚合示例（Histogram）

假设我们希望根据商品价格（price字段）创建一个价格区间的直方图，将商品按照价格范围进行分组，并统计每个价格区间内的商品数量。

示例查询：

GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "price_histogram": {
      "histogram": {
        "field": "price",
        "interval": 200
      }
    }
  }
}

解释：

  • "aggs"：定义聚合操作。
  • "price_histogram"：自定义的聚合名称，用于标识结果。
  • "histogram"：指定使用直方图聚合。
  • "field": "price"：指定要进行聚合的数值字段，即商品价格。
  • "interval": 200：指定直方图的间隔大小，这里设置为200表示将价格范围划分为200的区间，例如：0-200、200-400、400-600等。
4.范围聚合示例(Range)

范围聚合允许我们根据指定的范围条件将文档分组，例如：按价格范围进行分组并统计每个价格范围内的商品数量。

示例查询：

GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "price_ranges": {
      "range": {
        "field": "price",
        "ranges": [
          { "from": 0, "to": 200 },
          { "from": 200, "to": 500 },
          { "from": 500, "to": 1000 },
          { "from": 1000 }
        ]
      }
    }
  }
}

解释：

  • "aggs"：定义聚合操作。
  • "price_ranges"：自定义的聚合名称，用于标识结果。
  • "range"：指定使用范围聚合。
  • "field": "price"：指定要进行聚合的数值字段，即商品价格。
  • "ranges"：指定价格范围的条件数组。
    • { "from": 0, "to": 200 }：表示价格从0到200之间的商品。
    • { "from": 200, "to": 500 }：表示价格从200到500之间的商品。
    • { "from": 500, "to": 1000 }：表示价格从500到1000之间的商品。
    • { "from": 1000 }：表示价格大于等于1000的商品。
5. 统计聚合（Stats Aggregation）

统计聚合可以对数值字段进行计算，包括最小值、最大值、平均值、总和和文档数量。

示例查询：

GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "price_stats": {
      "stats": {
        "field": "price"
      }
    }
  }
}

解释：

  • "aggs"：定义聚合操作。
  • "price_stats"：自定义的聚合名称，用于标识结果。
  • "stats"：指定使用统计聚合。
  • "field": "price"：指定要进行聚合的数值字段。

我们上面在统计聚合中可以获取很多值，那么我们也可以细化单独获取某一个的聚合结果。

6. 平均值聚合（Avg Aggregation）

GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    }
  }
}
7. 总和聚合（Sum Aggregation）
GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "total_price": {
      "sum": {
        "field": "price"
      }
    }
  }
}
8. 最小值聚合（Min Aggregation）
GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "min_price": {
      "min": {
        "field": "price"
      }
    }
  }
}

9. 最大值聚合（Max Aggregation）
GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "max_price": {
      "max": {
        "field": "price"
      }
    }
  }
}

10. 扩展统计聚合（Extended Stats Aggregation）
GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "price_stats_extended": {
      "extended_stats": {
        "field": "price"
      }
    }
  }
}
11. 百分位数聚合（Percentiles Aggregation）
GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "price_percentiles": {
      "percentiles": {
        "field": "price",
        "percents": [25, 50, 75, 90]
      }
    }
  }
}
12. 日期直方图聚合（Date Histogram Aggregation）

假设有一个名为timestamp的日期字段，我们可以进行日期直方图聚合，按照日期进行分组并统计每个时间段内的文档数量。

GET zfc-doc-000002/_search
{
  "size": 0,
  "aggs": {
    "date_histogram_agg": {
      "date_histogram": {
        "field": "timestamp",
        "fixed_interval": "1h"
      }
    }
  }
}

本文由 mdnice 多平台发布

醉鱼！
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java使用elasticsearch分组进行聚合查询过程解析
08-25
主要介绍了java使用elasticsearch分组进行聚合查询过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
java操作es聚合操作并显示其他字段_ElasticSearch Aggregations使用总结详解
weixin_35931648的博客
12-23 3888
1.单字段情况下聚合假设只需要对一个字段聚合，比如b字段，b字段是keyword类型，需要考虑的情况最为简单，当要对b字段聚合时语句很好写，如下即可{"from": 0,"size": 0,"query": {"bool": {"must": [{"bool": {"should": [{"terms": {"field_a": ["1", "2", "3"],"boost": 1.0}}, {"...
在 Spring Boot 中使用搜索引擎 Elasticsearch
dancuowang的博客
11-16 974
Elasticsearch 建立在 Apache Lucene 之上，于 2010 年由 Elasticsearch NV（现为 Elastic）首次发布。据 Elastic 网站称，它是一个分布式开源搜索和分析引擎，适用于所有类型的数据，包括文本、数值 、地理空间、结构化和非结构化。Elasticsearch 操作通过 REST API 实现。主要功能是： 将文档存储在索引中， 使用强大的查询搜索索引以获取这些文档，以及 对数据运行分析函数。 Spring Data Elasticsearch 提供.
ElasticSearch简介及ElasticSearch部署、原理和使用介绍
wt334502157的博客
08-08 6435
ElasticSearch简介及ElasticSearch部署、原理和使用介绍 第一章：elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 第一节 elasticSearch的使用场景 1、 为用户提供按关键字查询的全文搜索功能。 2、 实现企业海量数据的处理分析的解决方案
2、Elasticsearch7.6.1基本介绍、2种部署方式及验证、head插件安装、分词器安装及验证
热门推荐
alanchanchn的专栏
06-30 2万+
Elasticsearch是一个基于Lucene的搜索服务器、提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口 - Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎 - Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的
java使用es查询的示例代码
08-28
本篇文章主要介绍了java使用es查询的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
ElasticSearch 官方示例测试数据
12-24
ES 官方示例数据
elasticaggregator-php:在 PHP 中更简单的 ElasticSearch 聚合查询
06-07
这将破坏与此初始版本的代码兼容性在任何查询级别支持多个聚合（当前所有分桶聚合都嵌套在前一个聚合中） 提高库的整体灵活性，现在这只适用于琐碎的用例为所有现有的聚合查询编写测试使用 4 个空格而不是制表符？...
Spring boot中使用ElasticSearch的方法详解
08-26
主要给大家介绍了关于Spring boot中使用ElasticSearch的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
03 后端入参校验：自定义注解实现
Eyesmoon的博客
04-26 758
03 后端入参校验：自定义注解实现
Linux的NVM安装
记录学习
04-27 287
使用 Node.js 的流行后端框架包括 Express.js、Meteor.js、Nest.js 和 Hapi.js。如果您的项目使用不同版本的 Node.js，那么 NVM 就是适合您的工具。由于 JavaScript 在编程中的广泛流行，Node.js 已成为软件开发和运行 JavaScript 应用程序的服务器的 Linux 管理中的重要组件。使用 Node Version Manager (NVM)，您可以在计算机上安装多个版本的 Node.js，并根据要运行的项目选择要使用的版本。
vue+element 树形结构 改成懒加载模式(原理element有),这里只做个人理解笔记
xu_duo_i的博客
04-25 401
vue+element 树形结构 改成懒加载模式(原理element有),这里只做个人理解笔记
Nginx负载均衡主备模式
最新发布
shijin741231的博客
04-30 433
通过配置Nginx配置文件，，定义upstream中每个后端Server的状态，可以实现后端服务的主备负载均衡。在上述测试中使用的是默认轮询算法。注意！ip_hash算法不支持backup状态定义。
PM2管理器无法使用解决方法
山雀的博客
04-25 282
PM2管理器无法使用解决办法
SpringMVC中常见注解和用法
英英的博客
04-28 302
路由映射: 当用户访问⼀个URL 时, 将用户的请求对应到程序中某个类的某个方法的过程就叫路由映射.1.@RestController其实是返回的数据。
问题记录-全局配置了跨域但是后端下载仍然跨域-(Java, SpirngBoot)
qq_43259860的博客
04-28 183
这个代码也是直接从网上粘贴的，结果就遇到坑了，这个故事告诉我们粘贴代码的时候还是要检查一下核心代码干了什么事情。前端请求后端下载文件，其它接口都不会跨域，唯独这个下载跨域了。好了今天的问题记录就到这里，我继续写Bug去了。把这个该死的reset()注释掉。
快速入门Web开发（中）后端开发（有重点）
Qiuner的博客
04-25 939
快速入门Web开发（中）后端开发（有重点）
后端端口也可以直接在浏览器访问
dabaoai123123的博客
04-27 340
比如在浏览器输入http://localhost:8078/hello/helloword访问的是后端的。
elasticsearch java中的聚合使用
02-29
在Java中使用Elasticsearch进行聚合查询，可以使用Elasticsearch的Java API。聚合查询主要使用AggregationBuilders进行构建。可以用它来创建各种聚合查询，如桶，指标，嵌套聚合等。下面是一个简单的示例代码，用于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值