【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计_es能做统计(1)

于 2024-05-14 22:24:40 发布
阅读量908 收藏 25
点赞数 19
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181340/article/details/138872970
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

		* [④ RestHighLevelClient 测试聚合查询](#_RestHighLevelClient__201)
		* + [根据某个字段分组](#_253)
			+ [求最大值](#_288)
			+ [求最小值](#_321)
		* [⑤ 子聚合](#__353)
聚合查询
① 什么是聚合查询

聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能，聚合有助于根据搜索查询提供聚合数据，聚合查询是数据库中重要额功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析功能力，它是基于查询条件来对数据进行分桶、计算的方法，这种很类似与SQL 中的group by 再加上一些函数方法的操作。

在了解聚合查询之前需要注意的一点是：text类型是不支持聚合的，主要是因为text类型本身是分词的，通俗的说，如果一句话分成了多个词然后进行group by操作，那么问题就出现了，到底对哪一个词进行group by操作呢？无法指定！

② Kibana 命令测试聚合查询
创建测试索引
PUT /fruit
{
    "mappings":{
        "properties":{
            "title":"keyword"
        },
        "price":{
            "type":"double"
        },
        "description":{
            "type":"text"
        }
    }
}

在这里插入图片描述

存放测试数据
PUT /fruit/_bulk
{"index":{}}
	{"title":"面包","price":19.6,"description":"小面包很便宜"}
{"index":{}}
	{"title":"旺旺牛奶","price":29.6,"description":"旺旺牛奶很好喝"}
{"index":{}}
	{"title":"日本豆","price":9.0,"description":"日本豆很便宜"}
{"index":{}}
	{"title":"大辣条","price":10.6,"description":"大辣条超级好吃"}
{"index":{}}
	{"title":"海苔","price":49.6,"description":"海苔很一般"}
{"index":{}}
	{"title":"小饼干","price":9.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小葡萄","price":59.6,"description":"小葡萄很好吃"}	
{"index":{}}
	{"title":"小饼干","price":19.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小饼干","price":59.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小饼干","price":29.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小饼干","price":39.6,"description":"小饼干很小"}

在这里插入图片描述

③ 聚合操作使用
根据某个字段分组
GET /fruit/_search
{
  "query": {
    "match\_all": {
      
    }
  },
  "aggs": {
    "price\_group": {
      "terms": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

求最大值
GET /fruit/_search
{
  "query": {
    "match\_all": {}
  },
  "aggs": {
    "max\_price": {
      "max": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

最小值
GET /fruit/_search
{
  "query": {
    "match\_all": {}
  },
  "size": 0, 
  "aggs": {
    "min\_price": {
      "min": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

求总数
GET /fruit/_search
{
  "query": {
    "match\_all": {}
  },
  "size": 0, 
  "aggs": {
    "min\_price": {
      "sum": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

求平均值
GET /fruit/_search
{
  "query": {
    "match\_all": {}
  },
  "size": 0, 
  "aggs": {
    "avg\_price": {
      "avg": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

④ RestHighLevelClient 测试聚合查询

在使用Java API实现上述操作之前，有必要先了解一下实现过程中使用到的某些方法以及工具

常见的聚合查询：

  • 统计某个字段的数量

ValueCountBuilder vcb= AggregationBuilders.count(“分组的名称”).field(“字段”);

  • 去重统计某个字段的数量（有少量的误差）

CardinalityBuilder cb= AggregationBuilders.cardinality(“分组的名称”).field(“字段”);

  • 聚合过滤

FilterAggregationBuilder fab= AggregationBuilders.filter(“分组的名称”).filter(QueryBuilders.queryStringQuery(“字段:过滤值”));

  • 按某个字段分组

TermsBuilder tb= AggregationBuilders.terms(“分组的名称”).field(“字段”);

  • 求最大值

SumBuilder sumBuilder= AggregationBuilders.max(“分组的名称”).field(“字段”);

  • 求最小值

AvgBuilder ab= AggregationBuilders.min(“分组的名称”).field(“字段”);

  • 求平均值

MaxBuilder mb= AggregationBuilders.avg(“分组的名称”).field(“字段”);

  • 按日期间隔分组

DateHistogramBuilder dhb= AggregationBuilders.dateHistogram(“分组的名称”).field(“字段”);

  • 获取聚合里面的结果

TopHitsBuilder thb= AggregationBuilders.topHits(“分组的名称”);

  • 嵌套的聚合

NestedBuilder nb= AggregationBuilders.nested(“分组的名称”).path(“字段”);

  • 反转嵌套

AggregationBuilders.reverseNested(“分组的名称”).path("字段 ");

使用Java API实现上述在Kibana中的各项操作

根据某个字段分组
public class RestHighLevelClientForAggs {
    public static void main(String[] args) {
        RestHighLevelClient esClient = Client.getClient();
        //基于terms 类型聚合 基于字段进行分组聚合
        SearchRequest request = new SearchRequest("fruit");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder
            .query(QueryBuilders.matchAllQuery())//查询条件
            //用来设置聚合处理
         	.aggregation(AggregationBuilders.terms("price\_group").field("price"))
            .size(0);
        request.source(sourceBuilder);
        SearchResponse response = null;
        try {
            response = esClient.search(request, RequestOptions.DEFAULT);
            //处理聚合的结果
            Aggregations aggregations = response.getAggregations();
            ParsedDoubleTerms doubleTerms = aggregations.get("price\_group");


![img](https://img-blog.csdnimg.cn/img_convert/45c20802cee20332e53d53a95baca90e.png)
![img](https://img-blog.csdnimg.cn/img_convert/49e2e3972c0185e67fd18aaecbb02d83.png)
![img](https://img-blog.csdnimg.cn/img_convert/edae194e854e635b8c9fd41072ada02f.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

doubleTerms = aggregations.get("price\_group");


[外链图片转存中...(img-muhcOGv9-1715696657647)]
[外链图片转存中...(img-wQwQ1jVy-1715696657648)]
[外链图片转存中...(img-JoXTSTU5-1715696657648)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2401_84181340
关注
  • 19
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值