Elasticsearch高级使用-数据聚合

已于 2022-04-25 22:12:34 修改
阅读量1.6k 收藏 2
点赞数
分类专栏： 大数据 文章标签： elasticsearch 大数据
于 2022-04-24 19:33:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Blueeyedboy521/article/details/124387444
版权

该示例中用到的索引hotel和代码仓库请参考如下文章：
通过hotel-demo演示RestClient操作Elasticsearch

一、什么是聚合

1、官网

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html

2、简述

聚合是对文档数据的统计、分析、计算

二、聚合的分类

  • Bucket(桶)：对文档数据分组，并统计每组数量
  • Metrc（度量）：对文档数据做计算，例如avg
  • Pipeline（管道）：基于其他聚合结果再做聚合
    在这里插入图片描述

参与聚合的字段类型

必须是：

  • keyword
  • 数值
  • 日期
  • 布尔

三、DSL实现聚合

1、基本概念

聚合必须的三要素

  • 聚合名称
  • 聚合类型
  • 聚合字段

聚合可配置属性有

  • size：指定聚合结果数量
  • order：指定聚合结果排序方式
  • field：指定聚合字段

2、DSL实现Bucket聚合

示例1 统计所有数据中酒店品牌有几种

思路

根据酒店品牌的名称做聚合，类型是term类型，DSL示例：
在这里插入图片描述

基本实现
# 聚合功能
GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20
      }
    }
  }
}

当size设置10时，表示只返回10个分组，这个时候可以看到**“sum_other_doc_count” : 39当我们吧size改为20之后，表示返回20个分组，则"sum_other_doc_count" : 0**；注意结果中默认是根据每组的文档数量降序
在这里插入图片描述

聚合结果排序

默认情况下，Bucket聚合会统计Bucket内的文档数量，记为_count，并按照_count降序排序
我们可以修改结果排序方式：
在这里插入图片描述

# 聚合功能，自定义排序规则
GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "order": {
          "_count": "asc"
        }, 
        "size": 10
      }
    }
  }
}

限定聚合范围

默认情况下，Bucket聚合是对索引库的所有文档做聚合，我们可以限定要聚合的文档范围，只要添加query条件即可
在这里插入图片描述
比如我们限定价格在200以上的


# 聚合功能，限定聚合范围
GET /hotel/_search
{
  "query":{
    "range": {
      "price": {
        "lte": 200
      }
    }
  },
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "order": {
          "_count": "asc"
        }, 
        "size": 10
      }
    }
  }
}

3、DSL实现Metric聚合

示例 获取每个品牌的用户评分的min、max、avg等

思路

使用stats聚合
在这里插入图片描述

基本实现

# 聚合功能 嵌套聚合metric
GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10
      },
    "aggs":{
      "scoreAgg":{
        "stats": {
          "field": "score"
        }
      }
    }
    }
  }
}

在这里插入图片描述

聚合结果排序

按照打分的平均分降序

# 聚合功能 嵌套聚合metric,按照平均分降序
GET /hotel/_search
{
  "size":0,
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 10,
        "order": {
          "scoreAgg.avg": "desc"
        }
      },
    "aggs":{
      "scoreAgg":{
        "stats": {
          "field": "score"
        }
      }
    }
    }
  }
}

四、RestAPI实现聚合

1、品牌聚合

在这里插入图片描述

聚合结果解析

在这里插入图片描述

代码

/**
 * 品牌聚合
 */
@Test
void testAggregation() throws IOException {
    // 1. 准备Request
    SearchRequest request = new SearchRequest("hotel");
    // 2. 准备DSL
    // 2.1. 设置size
    request.source().size(0);
    // 2.2. 聚合
    request.source().aggregation(AggregationBuilders
            .terms("brandAgg")
            .field("brand")
            .size(10)
    );
    // 3. 发出请求
    SearchResponse response = client.search(request, RequestOptions.DEFAULT);
    // 4. 解析结果
    Aggregations aggregations = response.getAggregations();
    // 4.1. 根据聚合名称获取聚合结果
    Terms brandTerms = aggregations.get("brandAgg");
    // 4.2. 获取buckets
    List<? extends Terms.Bucket> buckets = brandTerms.getBuckets();
    // 4.3. 遍历
    for(Terms.Bucket bucket: buckets){
        // 4.4. 获取可以
        String key = bucket.getKeyAsString();
        System.out.println(key);
    }

}

2、在IUserService中定义方法，实现对品牌、城市、星级的聚合

在这里插入图片描述

代码

@Override
public Map<String, List<String>> filters() {
    try{
        // 1. 准备Request
        SearchRequest request = new SearchRequest("hotel");
        // 2. 准备DSL
        // 2.1. 设置size
        request.source().size(0);
        // 2.2. 聚合
        buildAggregation(request);
        // 3. 发出请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4. 解析结果
        Map<String, List<String>> result = new HashMap<>();
        Aggregations aggregations = response.getAggregations();
        // 4.1 根据品牌名称，获取品牌结果
        List<String> brandList = getAggByName(aggregations,"brandAgg");
        result.put("品牌",brandList);
        // 4.2 根据城市名称，获取品牌结果
        List<String> cityList = getAggByName(aggregations,"cityAgg");
        result.put("城市",cityList);
        // 4.3 根据星级名称，获取品牌结果
        List<String> starList = getAggByName(aggregations,"starAgg");
        result.put("星级",starList);
        return result;
    }catch (IOException e){
        throw new RuntimeException(e);
    }
}

private List<String> getAggByName(Aggregations aggregations, String aggName) {
    // 4.1. 根据聚合名称获取聚合结果
    Terms brandTerms = aggregations.get(aggName);
    // 4.2. 获取buckets
    List<? extends Terms.Bucket> buckets = brandTerms.getBuckets();
    // 4.3. 遍历
    List<String> brandList = new ArrayList<>();
    for(Terms.Bucket bucket: buckets){
        // 4.4. 获取可以
        String key = bucket.getKeyAsString();
        brandList.add(key);
    }
    return brandList;
}

private void buildAggregation(SearchRequest request) {
    request.source().aggregation(AggregationBuilders
            .terms("brandAgg")
            .field("brand")
            .size(100)
    );
    request.source().aggregation(AggregationBuilders
            .terms("cityAgg")
            .field("city")
            .size(100)
    );
    request.source().aggregation(AggregationBuilders
            .terms("starAgg")
            .field("starName")
            .size(100)
    );
}

结果

{品牌=[7天酒店, 如家, 皇冠假日, 速8, 万怡, 华美达, 和颐, 万豪, 喜来登, 希尔顿, 汉庭, 凯悦, 维也纳, 豪生, 君悦, 万丽, 丽笙], 星级=[], 城市=[上海, 北京, 深圳]}

3、对接前端接口

在这里插入图片描述

代码

// controller
@PostMapping("/filters")
public Map<String, List<String>> getFilters(@RequestBody RequestParams params){
    return hotelService.filters(params);
}
...
...
...
// service
@Override
public Map<String, List<String>> filters(RequestParams params) {
    try{
        // 1. 准备Request
        SearchRequest request = new SearchRequest("hotel");
        // 2. 准备DSL
        // 2.1. query
        buildBasicQuery(params,request);
        // 2.2. 设置size
        request.source().size(0);
        // 2.3. 聚合
        buildAggregation(request);
        // 3. 发出请求
        SearchResponse response = client.search(request, RequestOptions.DEFAULT);
        // 4. 解析结果
        Map<String, List<String>> result = new HashMap<>();
        Aggregations aggregations = response.getAggregations();
        // 4.1 根据品牌名称，获取品牌结果
        List<String> brandList = getAggByName(aggregations,"brandAgg");
        result.put("品牌",brandList);
        // 4.2 根据城市名称，获取品牌结果
        List<String> cityList = getAggByName(aggregations,"cityAgg");
        result.put("城市",cityList);
        // 4.3 根据星级名称，获取品牌结果
        List<String> starList = getAggByName(aggregations,"starAgg");
        result.put("星级",starList);
        return result;
    }catch (IOException e){
        throw new RuntimeException(e);
    }
}

效果

注意搜索虹桥，品牌和星级范围会缩小
在这里插入图片描述

Blueeyedboy521
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ElasticSearch对象数组聚合操作
萌古大汗的专栏
01-06 1209
如果我们的文档对象结构如下： { "id":"123", "extra":[ { "name":"chinese", "score":100, "important":"high" }, { "name":"english", "score":70, "important":"low"
Elasticsearch 聚合
lzp52597的博客
05-08 697
示例数据 # 创建索引 PUT /hotel { "settings": { "number_of_shards": 1 }, "mappings": { "properties": { "title": { "type": "text" }, "city": { "type": "keyword" }, "price": { "type": "double"
elasticsearch获取数组类型和对应的分组聚合
weixin_46269980的博客
05-25 2149
1 先看下实体类的例子 People类 public class People { private String name; private Dog[] dogs; } Dog类 public class Dog { private String name; private String[] color; } es中的某一条数据 "_source": { "dogs": [ { "co
elasticsearch-数据聚合
weixin_57128596的博客
05-24 3228
聚合：实现对文档数据的统计、分析以及运算，类似于分组group by 既然是完成数据的统计，说明我们的文档中聚合字段类型是不能分词，type不能是text，不然你一种字段来了好几个，不能分组； 所以说参与聚合的字段类型：可以是keyword（不参与分词）、日期and布尔类型的等等； 聚合三要素：聚合名称、聚合类型、聚合字段 聚合可配置的属性： 实际操作 修改排序规则（_count）： 默认是降序，可以加一个order排序规则 限定聚合范围 在这里，query的作用范..
Elasticsearch笔记-聚合
wthfeng的专栏
11-05 1960
本篇我们讨论ES的聚合功能，聚合可以对数据进行复杂的统计分析，作用类似于SQL中的group by,不过其统计功能更灵活，更强大。
Elasticsearch: 权威指南 elasticsearch-definitive-guide-cn
02-12
本书不仅介绍了Elasticsearch的基础知识，还深入探讨了其分布式特性和高级功能，如集群管理、索引操作、搜索优化、聚合分析等。 Elasticsearch是一个开源的全文搜索引擎，其主要功能是提供高效、可扩展的数据搜索和...
HBase-Elasticsearch数据同步1
08-08
- 在实时分析、日志分析、监控系统等场景中，从HBase实时或定时同步数据到Elasticsearch，可以充分利用Elasticsearch的搜索和分析能力，提供高效的查询性能和丰富的聚合分析功能。 - 同步过程中，可以采用增量同步...
ElasticSearch 大数据搜索工具使用
08-28
配置JVM选项，可以在启动Elasticsearch时通过`ES_JAVA_OPTS`环境变量传递，或者在Elasticsearch的配置目录（通常是`config`目录）下创建`jvm.options`文件，添加如下配置： ```bash -Xms<size> # 设置JVM初始堆大小...
Elasticsearch.Net使用入门教程（1）
10-21
Elasticsearch.Net是官方提供的.NET客户端库，用于与Elasticsearch...随着对Elasticsearch.Net的深入学习，你将能够掌握更高级的功能，如聚合查询、实时分析和复杂的搜索逻辑，从而更好地利用Elasticsearch的性能优势。
rubbercube:ElasticSearch 上的多维数据集。 商业智能聚合库
07-07
通用的高级抽象允许将 ElasticSearch 替换为其他一些数据库，或者并排使用，并使用用户友好的 API 进行封装。 该库在生产中使用了很长时间，现在相当稳定。 SBT依赖： resolvers += "rubbercube" at ...
es倒排索引_带你走进神一样的Elasticsearch索引机制
weixin_39780784的博客
11-20 1007
前言相比于大多数人熟悉的MySQL数据库的索引，Elasticsearch的索引机制是完全不同于MySQL的B+Tree结构。索引会被压缩放入内存用于加速搜索过程，这一点在效率上是完爆MySQL数据库的。但是Elasticsearch会对全部text字段进行索引，必然会消耗巨大的内存，为此Elasticsearch针对索引进行了深度的优化。在保证执行效率的同时，尽量缩减内存空间的占用。这篇文章就深...
Java Elastic search 常用查询
请叫我大师兄
09-15 6931
java Elastic 客户端基本使用 引入jar compile 'org.elasticsearch:elasticsearch:5.5.0' compile 'org.elasticsearch.client:transport:5.5.0 client基本使用 得到client Settings settings = Settings.builder().put("cluster.name", "lw-6-test").build(); TransportClient
elasticsearch聚合数组类型的坑，只能使用aggs，不能使用collapse
我怀念的
06-20 6354
如果Mapping是下面这样的： "properties": { "topics": { "type": "nested", "properties": { "topic_path": { "type": "keyword" } } } } 对应的数据：...
ElasticSearch检索--数组、坐标范围、脚本排序、聚合
Cancer9507的博客
08-01 557
ElasticSearch 检索 数组 坐标 四至 半径 多边形 聚会 平均值 总值
Elaticsearch基本使用
龙源IT 的博客
03-13 2694
Elaticsearch，简称为es， 是一个建立在全文搜索引擎框架 Apache Lucene™ 基础上的开源搜索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。同时Elasticsearch 是使用 Java 编写的，采用了 Lucene 来实现索引与搜索的功能。当你使用它做全文搜索时，只需要使用简单流畅的 RESTful API即可
elasticsearch通过顶部多索引，实现联合查询
热门推荐
铁柱的博客
05-06 2万+
一、前言       之前试了下多索引查询，就是索引以数组的方式进行查询，发现这种方式是可以的。但是如果两个索引的名字，字段都不相同，可以实现类似于mysql的那种join效果吗，试试吧 elasticsearch的多索引联合查询以及范围日期查询示例 背景：使用es-php + es7.0 二、正文 1、首先索引部分还是以数组的形式 '...
ElasticSearch 高级查询语法Query DSL 2
星空下的博客
07-04 646
Elasticsearch除搜索以外，提供了针对ES 数据进行统计分析的功能。聚合(aggregations)可以让我们极其方便的实现对数据的统计、分析、运算。例如： 聚合的分类 Metric Aggregation：—些数学运算，可以对文档字段进行统计分析，类比Mysql中的 min(), max(), sum() 操作。 Bucket Aggregation： 一些满足特定条件的文档的集合放置到一个桶里，每一个桶关联一个key，类比Mysql中的group by操作。 Pipeline A
ES 21 - 通过 Elasticsearch 实现聚合检索 (分组统计)
xiangjai的专栏
10-17 6745
目录 1 普通聚合分析 1.1 直接聚合统计 1.2 先检索, 再聚合 1.3 扩展: fielddata和keyword的聚合比较 2 嵌套聚合 2.1 先分组, 再聚合统计 2.2 先分组, 再统计, 最后排序 2.3 先分组, 组内再分组, 然后统计、排序 1 普通聚合分析 1.1 直接聚合统计 (1) 计算每个tag下的文档数量, 请求语法: GET book_shop/it_book/_search { "size": 0, // 不显示命..
elasticsearch的基础语句介绍 聚合功能很强大 可以分析数据
码农札记
06-12 2506
elasticsearch聚合功能很强大 可以分析数据，比MySQL更加强大。可以根据爬山归类到运动。。。 下面是 安装以及一些基础命令 安装 curl -L -O http://download.elasticsearch.org/PATH/TO/VERSION.zip <1> unzip elasticsearch-VERSION.zipcdelasticsearch−
Elasticsearch使用教程
最新发布
05-02
Elasticsearch是一个开源的分布式搜索和分析引擎，它被广泛应用于全文搜索、日志分析、数据可视化等领域。下面是一个简单的Elasticsearch使用教程： 1. 安装和配置Elasticsearch： - 下载并安装Elasticsearch。 - 配置Elasticsearch的相关参数，如集群名称、节点名称、监听地址等。 2. 启动和停止Elasticsearch： - 启动Elasticsearch节点。 - 停止Elasticsearch节点。 3. 索引数据： - 创建索引：定义索引的结构和映射。 - 添加文档：将数据添加到索引中。 4. 查询数据： - 使用查询语句进行搜索：可以使用全文搜索、过滤器、聚合等功能。 - 排序和分页：对搜索结果进行排序和分页操作。 5. 更新和删除数据： - 更新文档：更新已有文档的内容。 - 删除文档：从索引中删除指定的文档。 6. 高级功能： - 复合查询：使用布尔逻辑组合多个查询条件。 - 聚合查询：对搜索结果进行统计和分析。 - 分布式搜索：在多个节点上进行搜索操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值