elasticsearch的数据聚合

最新推荐文章于 2024-06-12 18:30:00 发布
最新推荐文章于 2024-06-12 18:30:00 发布
阅读量744 收藏
点赞数
分类专栏： elasticsearch 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63431773/article/details/132685085
版权

聚合可以让我们极其方便的实现对数据的统计、分析、运算。例如：

  • 什么品牌的手机最受欢迎？

  • 这些手机的平均价格、最高价格、最低价格？

  • 这些手机每月的销售情况如何？

实现这些统计功能的比数据库的sql要方便的多，而且查询速度非常快，可以实现近实时搜索效果

聚合种类

聚合常见的有三类：

  • 桶（Bucket）聚合：用来对文档做分组

    • TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组

    • Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组

  • 度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等

    • Avg：求平均值

    • Max：求最大值

    • Min：求最小值

    • Stats：同时求max、min、avg、sum等

  • 管道（pipeline）聚合：其它聚合的结果为基础做聚合

注意：参加聚合的字段必须是keyword、日期、数值、布尔类型  

DSL实现聚合

语句

GET /hotel/_search
{
  "size": 0,
  "aggs": {
    "brandAgg": {
    "terms": {
        "field": "brand",
        "size": 20
      }
    }
  }
}
  • 设置size为0，结果中不包含文档，只包含聚合结果
  • aggs定义聚合
  • brandAgg给聚合起个名字
  • terms聚合的类型，按照品牌值聚合，所以选择term
  • field参与聚合的字段
  • terms里面的sezi希望获取的聚合结果数量

发起请求的结果 

聚合结果排序

默认情况下，Bucket聚合会统计Bucket内的文档数量，记为count，并且按照count降序排序。

我们可以指定order属性，自定义聚合的排序方式,按照_count降序排列

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "order": {
          "_count": "desc"  
          },
        "size": 20
      }
    }
  }
}

发起请求的结果， 按照_count降序排列。

限定聚合范围

默认情况下，Bucket聚合是对索引库的所有文档做聚合，但真实场景下，用户会输入搜索条件，因此聚合必须是对搜索结果聚合。那么聚合必须添加限定条件。我们可以限定要聚合的文档范围，只要添加query条件即可。

 只对200元以下的文档聚合

GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "lte": 200  
      }
    }
  }, 
  "size": 0, 
  "aggs": {
    "brandAgg": {
      "terms": {
        "field": "brand",
        "size": 20
      }
    }
  }
}

聚合得到的品牌明显变少了  

Metric聚合语法

现在我们需要对桶内的酒店做运算，获取每个品牌的用户评分的min、max、avg等值

 score_stats聚合是在brandAgg的聚合内部嵌套的子聚合。因为我们需要在每个桶分别计算

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": { 
      "terms": { 
        "field": "brand", 
        "size": 20
      },
      "aggs": { 
        "score_stats": { 
        "stats": { 
          "field": "score" 
          }
        }
      }
    }
  }
}

我们还可以给聚合结果做个排序，例如按照每个桶的酒店平均分做排序,score_stats.avg对score聚合函数的平均值进行降序排序。

GET /hotel/_search
{
  "size": 0, 
  "aggs": {
    "brandAgg": { 
      "terms": { 
        "field": "brand", 
        "size": 20,
        "order": {
          "score_stats.avg": "desc"
        }
      },
      "aggs": { 
        "score_stats": { 
        "stats": { 
          "field": "score" 
          }
        }
      }
    }
  }
}

小结

aggs代表聚合，与query同级  

聚合必须的三要素：

  • 聚合名称

  • 聚合类型

  • 聚合字段

聚合可配置属性有：

  • size：指定聚合结果数量

  • order：指定聚合结果排序方式

  • field：指定聚合字段

java代码实现聚合

搜索页面的品牌、城市等信息不应该是在页面写死，而是通过聚合索引库中的酒店数据得来的  

controller类



import cn.itcast.hotel.pojo.PageResult;
import cn.itcast.hotel.pojo.RequestParams;
import cn.itcast.hotel.service.IHotelService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;
import java.util.Map;

@RestController
@RequestMapping("/hotel")
public class HotelController {

    @Autowired
    private IHotelService hotelService;


    @PostMapping("filters")
    public Map<String, List<String>> getFilters(@RequestBody RequestParams params){
        return hotelService.getFilters(params);
    }
}

service类



import cn.itcast.hotel.mapper.HotelMapper;
import cn.itcast.hotel.pojo.Hotel;
import cn.itcast.hotel.pojo.HotelDoc;
import cn.itcast.hotel.pojo.PageResult;
import cn.itcast.hotel.pojo.RequestParams;
import cn.itcast.hotel.service.IHotelService;
import com.alibaba.fastjson.JSON;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;

import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.geo.GeoPoint;
import org.elasticsearch.common.unit.DistanceUnit;
import org.elasticsearch.index.query.BoolQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.functionscore.FunctionScoreQueryBuilder;
import org.elasticsearch.index.query.functionscore.ScoreFunctionBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.sort.SortBuilders;
import org.elasticsearch.search.sort.SortOrder;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

@Service
public class HotelService extends ServiceImpl<HotelMapper, Hotel> implements IHotelService {

    @Autowired
    private RestHighLevelClient client;

    

    @Override
    public Map<String, List<String>> getFilters(RequestParams params) {
        try {
            // 1.准备Request
            SearchRequest request = new SearchRequest("hotel");
            // 2.准备DSL
            // 2.1.query
            // buildBasicQuery(params, request);
            // 2.2.设置size
            request.source().size(0);
            // 2.3.聚合
            buildAggregation(request);
            // 3.发出请求
            SearchResponse response = client.search(request, RequestOptions.DEFAULT);
            // 4.解析结果
            Map<String, List<String>> result = new HashMap<>();
            Aggregations aggregations = response.getAggregations();
            // 4.1.根据品牌名称，获取品牌结果
            List<String> brandList = getAggByName(aggregations, "brandAgg");
            result.put("品牌", brandList);
            // 4.2.根据品牌名称，获取品牌结果
            List<String> cityList = getAggByName(aggregations, "cityAgg");
            result.put("城市", cityList);
            // 4.3.根据品牌名称，获取品牌结果
            List<String> starList = getAggByName(aggregations, "starAgg");
            result.put("星级", starList);

            return result;
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }
    private void buildAggregation(SearchRequest request) {
        request.source().aggregation(AggregationBuilders
                .terms("brandAgg")
                .field("brand")
                .size(100)
        );
        request.source().aggregation(AggregationBuilders
                .terms("cityAgg")
                .field("city")
                .size(100)
        );
        request.source().aggregation(AggregationBuilders
                .terms("starAgg")
                .field("starName")
                .size(100)
        );
    }

    private List<String> getAggByName(Aggregations aggregations, String aggName) {
        // 4.1.根据聚合名称获取聚合结果
        Terms brandTerms = aggregations.get(aggName);
        // 4.2.获取buckets
        List<? extends Terms.Bucket> buckets = brandTerms.getBuckets();
        // 4.3.遍历
        List<String> brandList = new ArrayList<>();
        for (Terms.Bucket bucket : buckets) {
            // 4.4.获取key
            String key = bucket.getKeyAsString();
            brandList.add(key);
        }
        return brandList;
    }
   
   
}

发送请求，获得结果

无语堵上西楼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java操作es聚合操作并显示其他字段_深入浅析Elasticsearch中的聚合操作
weixin_32768455的博客
12-23 803
如果写过Elasticsearch的聚合操作DSL，都知道它非常的繁琐，很简单的业务就导致异常复杂的json。因为它的聚合操作是嵌套的，一个聚合的输出可以是另一个聚合的输入，并且聚合还支持pipeline，能引用父亲或者兄弟节点的聚合，所以导致其结构非常难以理解。本文将根据一个实际的例子来逐步的构建一个Elasticsearch的聚合DSL语句，来方便大家理解ES的聚合操作。假设在index te...
java操作es聚合操作并显示其他字段_Elasticsearch 之聚合分析入门
weixin_39626927的博客
01-04 1055
本文主要介绍 Elasticsearch 的聚合功能，介绍什么是 Bucket 和 Metric 聚合，以及如何实现嵌套的聚合。首先来看下聚合（Aggregation）：什么是 Aggregation？首先举一个生活中的例子，这个是京东的搜索界面，在搜索框中输入“华为”进行搜索，就会得到如上界面，搜索框就是我们常用的搜索功能，而下面这些，比如分类、热点、操作系统、CPU 类型等是根据 ES 的聚合...
SpringBoot集成ES
weixin_49319251的博客
12-17 1972
java代码使用ES 依赖： <!--es的包--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency> ElasticsearchRepository接口： 创建一个接口，继承Elastic
ElasticSearch聚合操作
weixin_45162862的博客
03-10 846
Elasticsearch除搜索以外，提供了针对ES 数据进行统计分析的功能。可以让我们极其方便的实现对数据的统计、分析、运算。使用场景聚合查询可以用于各种场景，比如商业智能、数据挖掘、日志分析等等。电商平台的销售分析：统计每个地区的销售额、每个用户的消费总额、每个产品的销售量等，以便更好地了解销售情况和趋势。社交媒体的用户行为分析：统计每个用户的发布次数、转发次数、评论次数等，以便更好地了解用户行为和趋势，同时可以将数据按照地区、时间、话题等维度进行分析。
使用Elasticsearch进行分组聚合统计
ue4的博客
05-18 8125
使用Elasticsearch进行分组聚合统计
java使用elasticsearch分组进行聚合查询过程解析
08-25
主要介绍了java使用elasticsearch分组进行聚合查询过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
elasticsearch聚合后分页
12-16
方法如果传总页数了，es就不用查询总页数，直接通过开始位置到结束位置取数即可
Elasticsearch聚合 之 Terms
06-19
Elasticsearch聚合之Terms Elasticsearch中的Terms聚合是一种常用的聚合方式，用于对文档中的某个字段进行分组统计。Terms聚合可以对文档中的某个字段进行分组，并统计每个组中的文档数量。 在Elasticsearch中，...
Elasticsearch 聚合分析深入学习
01-07
类似于关系型数据库中的 SUM，AVG, GROUP BY 等，Elasticsearch 也提供了丰富的聚合运算方式，可以满足大部分分析和查询场景。 Doc Values 和 Field Data 在学习聚合分析之前，我们先了解一下 Doc Values 和 Field ...
ElasticSearch 过滤聚合结果
10-12
ElasticSearch对数据进行聚合并对聚合结果值进行过滤查询
elasticsearch聚合、自动补全、数据同步
蓝朽的小世界
12-01 1306
es聚合、自动补全、数据同步
使用 ElasticSearch Aggregations 进行统计分析
Zhangxi
12-23 2万+
ElasticSearch 的特点随处可见：基于 Lucene 的分布式搜索引擎，友好的 RESTful API…… 大部分文章都围绕 ELK Stack 和全文搜索展开，本文试图用一个小案例来展示 ElasticSearch Aggregations 在统计分析的强大之处。 表单长这样 需求：对回收的问卷进行统计，统计方式可能有： 看每周／天／小时回收量（可以做成
Elasticsearch：汇总数据表
Elastic 中国社区官方博客
04-21 2045
在进行大数据分析时，我们会经常使用数据表格来展示数据。数据表格可以用来展示原始的数据。这是数据可以来自于 source。在很多的时候，我们更希望这些数据是一些聚合的数据表格，比如如下的数据表格： 在 Kibana 中，我们很容易通过可视化工具生成我们所需要的表格。我们可以参考我之前的文章 “在 Kibana 中的四种表格制作方式”。在今天的文章中，我将介绍如何使用 Elasticsearch API 通过搜索的方法生成我们想要的数据，并可以在自己的应用中进行可视化。 简单的表格 在我之前的文.
使用Elasticsearch聚合搜索进行数据的分类统计
闫玉林的博客
02-02 2258
HTTP请求 单个条件聚合，根据某一个维度去聚合统计 GET /zwfw/_search { "size": 0, "aggregations" : { "organDn.keyword_arr" : { "terms" : { "field" : "organDn.keyword", "size" : 100, "m...
ElasticSearch统计总数据量
热门推荐
草宝虫的博客
09-20 4万+
统计总数据条数 GET /page-access/_count { } 或 通配符 GET /logstash-*/_count { } 或 多个 GET /page-access,logstash-*/_count { } url中前面的部分就是匹配需统计的索引 返回内容： { "count" : 3478311, "_shards" : { "total"...
ElasticSearch的搭建与数据统计
架构文摘
05-27 1473
平台内的产品有一个数据分析，统计平台内某个商户某个时间段内（今天、昨天、7天内、30天内……）的各种数据分析，这种分析显然用MySql的count、sum、GroupBy...
Elasticsearch 实现分组统计
tangpengh的博客
11-20 3万+
之前有个查询es分组求和的需求，类似关系型数据库  select a ,b ,sum(c)  from table group by a,b  当时用DSL查询语句实现 这边记录下： GET  /my_index/my_type/_search {     "from": 0,     "size": 0,     "aggs": {         "_A_": {            ...
【Spring Cloud】配置中心详细介绍及使用
分享学习
06-11 695
Spring Cloud Config 提供了对分布式系统的外部配置支持，配置服务器为配置客户端提供配置属性，客户端通过访问配置服务器来获取这些配置。
理解Es的DSL语法（二）：聚合
最新发布
糖拌西红柿
06-12 942
es的聚合语法、aggs，date_histogram聚合
elasticsearch聚合数据实现替换功能
09-20
在Elasticsearch中，聚合（Aggregation）是一种用于对数据进行分析和汇总的功能，可以根据一定的条件和计算逻辑对数据进行分组、过滤、统计等操作。 要实现替换功能，可以通过聚合数据来实现。首先，需要确定需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值