【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计

最新推荐文章于 2024-07-16 13:22:54 发布
最新推荐文章于 2024-07-16 13:22:54 发布
阅读量4k 收藏 33
点赞数 35
分类专栏： ES小结 文章标签： elasticsearch 搜索引擎 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaowumao/article/details/126181001
版权

🏡 博客首页：派 大 星

⛳️ 欢迎关注 🐳 点赞 🎒 收藏 ✏️ 留言

🎢 本文由派大星原创编撰

🚧 系列专栏：《ES小结》

🎈 本系列记录ElasticSearch技术学习历程以及问题解决

在这里插入图片描述

ElasticSearch高效数据统计

聚合查询

① 什么是聚合查询

聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能，聚合有助于根据搜索查询提供聚合数据，聚合查询是数据库中重要额功能特性，ES作为搜索引擎兼数据库，同样提供了强大的聚合分析功能力，它是基于查询条件来对数据进行分桶、计算的方法，这种很类似与SQL 中的group by 再加上一些函数方法的操作。

在了解聚合查询之前需要注意的一点是：text类型是不支持聚合的，主要是因为text类型本身是分词的，通俗的说，如果一句话分成了多个词然后进行group by操作，那么问题就出现了，到底对哪一个词进行group by操作呢？无法指定！

② Kibana 命令测试聚合查询
创建测试索引
PUT /fruit
{
    "mappings":{
        "properties":{
            "title":"keyword"
        },
        "price":{
            "type":"double"
        },
        "description":{
            "type":"text"
        }
    }
}

在这里插入图片描述

存放测试数据
PUT /fruit/_bulk
{"index":{}}
	{"title":"面包","price":19.6,"description":"小面包很便宜"}
{"index":{}}
	{"title":"旺旺牛奶","price":29.6,"description":"旺旺牛奶很好喝"}
{"index":{}}
	{"title":"日本豆","price":9.0,"description":"日本豆很便宜"}
{"index":{}}
	{"title":"大辣条","price":10.6,"description":"大辣条超级好吃"}
{"index":{}}
	{"title":"海苔","price":49.6,"description":"海苔很一般"}
{"index":{}}
	{"title":"小饼干","price":9.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小葡萄","price":59.6,"description":"小葡萄很好吃"}	
{"index":{}}
	{"title":"小饼干","price":19.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小饼干","price":59.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小饼干","price":29.6,"description":"小饼干很小"}
{"index":{}}
	{"title":"小饼干","price":39.6,"description":"小饼干很小"}

在这里插入图片描述

③ 聚合操作使用
根据某个字段分组
GET /fruit/_search
{
  "query": {
    "match_all": {
      
    }
  },
  "aggs": {
    "price_group": {
      "terms": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

求最大值
GET /fruit/_search
{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "max_price": {
      "max": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

最小值
GET /fruit/_search
{
  "query": {
    "match_all": {}
  },
  "size": 0, 
  "aggs": {
    "min_price": {
      "min": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

求总数
GET /fruit/_search
{
  "query": {
    "match_all": {}
  },
  "size": 0, 
  "aggs": {
    "min_price": {
      "sum": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

求平均值
GET /fruit/_search
{
  "query": {
    "match_all": {}
  },
  "size": 0, 
  "aggs": {
    "avg_price": {
      "avg": {
        "field": "price"
      }
    }
  }
}

在这里插入图片描述

④ RestHighLevelClient 测试聚合查询

在使用Java API实现上述操作之前，有必要先了解一下实现过程中使用到的某些方法以及工具

常见的聚合查询：

  • 统计某个字段的数量

ValueCountBuilder vcb= AggregationBuilders.count(“分组的名称”).field(“字段”);

  • 去重统计某个字段的数量（有少量的误差）

CardinalityBuilder cb= AggregationBuilders.cardinality(“分组的名称”).field(“字段”);

  • 聚合过滤

FilterAggregationBuilder fab= AggregationBuilders.filter(“分组的名称”).filter(QueryBuilders.queryStringQuery(“字段:过滤值”));

  • 按某个字段分组

TermsBuilder tb= AggregationBuilders.terms(“分组的名称”).field(“字段”);

  • 求最大值

SumBuilder sumBuilder= AggregationBuilders.max(“分组的名称”).field(“字段”);

  • 求最小值

AvgBuilder ab= AggregationBuilders.min(“分组的名称”).field(“字段”);

  • 求平均值

MaxBuilder mb= AggregationBuilders.avg(“分组的名称”).field(“字段”);

  • 按日期间隔分组

DateHistogramBuilder dhb= AggregationBuilders.dateHistogram(“分组的名称”).field(“字段”);

  • 获取聚合里面的结果

TopHitsBuilder thb= AggregationBuilders.topHits(“分组的名称”);

  • 嵌套的聚合

NestedBuilder nb= AggregationBuilders.nested(“分组的名称”).path(“字段”);

  • 反转嵌套

AggregationBuilders.reverseNested(“分组的名称”).path("字段 ");

使用Java API实现上述在Kibana中的各项操作

根据某个字段分组
public class RestHighLevelClientForAggs {
    public static void main(String[] args) {
        RestHighLevelClient esClient = Client.getClient();
        //基于terms 类型聚合 基于字段进行分组聚合
        SearchRequest request = new SearchRequest("fruit");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder
            .query(QueryBuilders.matchAllQuery())//查询条件
            //用来设置聚合处理
         	.aggregation(AggregationBuilders.terms("price_group").field("price"))
            .size(0);
        request.source(sourceBuilder);
        SearchResponse response = null;
        try {
            response = esClient.search(request, RequestOptions.DEFAULT);
            //处理聚合的结果
            Aggregations aggregations = response.getAggregations();
            ParsedDoubleTerms doubleTerms = aggregations.get("price_group");
            List<? extends Terms.Bucket> buckets = doubleTerms.getBuckets();
            for (Terms.Bucket bucket : buckets) {
                System.out.println(bucket.getKey()+" "+bucket.getDocCount());
            }
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

求最大值
public class AggregationForMax {
    public static void main(String[] args) {
        RestHighLevelClient client = Client.getClient();


        SearchRequest request = new SearchRequest("fruit");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder
                .query(QueryBuilders.matchAllQuery())
                .aggregation(AggregationBuilders.max("max_price").field("price"))
                .size(0);
        request.source(sourceBuilder);
        try {
            SearchResponse searchResponse =
            client.search(request,RequestOptions.DEFAULT);
            Aggregations aggregations = searchResponse.getAggregations();
            ParsedMax maxPrice = aggregations.get("max_price");
            System.out.println(maxPrice.getValueAsString());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

注意： 在最终获取分组中的数据时，首先判断所求得的结果是否是Key-Value的结果，比如上述根据某个字段分组的示例从Kibana中就可以看出是Key-Value的形式，所以aggregations.get("分组名称");返回的结果应该为ParsedXXXXTerms类型，如果像求最大值、平均值、最小值等在执行到该aggregations.get("分组名称");返回的结果应该为ParsedXXX类型

求最小值
public class AggregationForMin {
    public static void main(String[] args) {
        RestHighLevelClient client = Client.getClient();
        SearchRequest searchRequest = new SearchRequest("fruit");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

        sourceBuilder
                .query(QueryBuilders.matchAllQuery())
                .aggregation(AggregationBuilders.min("min_price").field("price"))
                .size(0);
        searchRequest.source(sourceBuilder);
        try {
            SearchResponse searchResponse = 
                client.search(searchRequest, RequestOptions.DEFAULT);
            Aggregations aggregations = searchResponse.getAggregations();
            ParsedMin minPrice = aggregations.get("min_price");
            System.out.println(minPrice.getValueAsString());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

等等一系列需求的演示和模拟，使用ES来完成数据的统计。

⑤ 子聚合

先从需求展开，先按照title进行分组，然后再对每一个分组中的成员对价格price进行降序排序

先使用命令在Kibana中实现该操作，其次再根据实现的命令转换为Java代码实现

使用命令操作进行实现

GET /fruit/_search
{
  "query": {
    "match_all": {}
  },
  "size": 0, 
  "aggs": {
    "title_group": {
      "terms": {
        "field": "title"
      },
      "aggs": {
        "sort_price": {
          "terms": {
            "field": "price",
            "order": {
              "_key": "desc"
            }
          }
        }
      }
    }
  }
}

将实现的命令转换为Java流程

public class AggregationForSub {
    public static void main(String[] args) {
        RestHighLevelClient client = Client.getClient();
        SearchRequest searchRequest = new SearchRequest("fruit");
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        TermsAggregationBuilder termsAggregationBuilder = 
        AggregationBuilders.terms("title_group").field("title");
        TermsAggregationBuilder subAggregationBuilder = 
        AggregationBuilders.terms("price_sort").field("price").order(BucketOrder.count(false));
        //subAggregation 为子聚合
        termsAggregationBuilder.subAggregation(subAggregationBuilder);
        sourceBuilder
                .query(QueryBuilders.matchAllQuery())
                .aggregation(termsAggregationBuilder)
                .size(0);
        searchRequest.source(sourceBuilder);
        try {
            SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
            Aggregations aggregations = searchResponse.getAggregations();
            ParsedStringTerms titleGroup = aggregations.get("title_group");
            for (Terms.Bucket bucket : titleGroup.getBuckets()) {
                System.out.println(bucket.getKey()+"--"+bucket.getDocCount());
                Aggregations bucketAggregations = bucket.getAggregations();
                ParsedDoubleTerms priceSort = bucketAggregations.get("price_sort");
                for (Terms.Bucket priceSortBucket : priceSort.getBuckets()) {
                    System.out.println(priceSortBucket.getKey()+"--"+priceSortBucket.getDocCount());
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

在这里插入图片描述

IT派同学
关注
专栏目录
【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计_es能做统计
2401_84166258的博客
04-30 562
{“title”:“小饼干”,“price”:19.6,“description”:“小饼干很小”}{“title”:“小饼干”,“price”:59.6,“description”:“小饼干很小”}{“title”:“小饼干”,“price”:29.6,“description”:“小饼干很小”}{“title”:“小饼干”,“price”:39.6,“description”:“小饼干很小”}//基于terms 类型聚合 基于字段进行分组聚合。//用来设置聚合处理。
【ES小结】还在用ElasticSearch做查询？换条思路实现高效数据统计_es能做统计(1)
2401_84166258的博客
04-30 480
query(QueryBuilders.matchAllQuery())//查询条件。//基于terms 类型聚合 基于字段进行分组聚合。//用来设置聚合处理。
OpenGL ES 2.0 实现一段时间内数据统计图
01-08
本程序是用OpenGL ES 2.0 实现的实时更新的数据统计图，在PC上运行此程序要先安装 OpenGL ES 2.0 emulator 库。
ElasticSearch的搭建与数据统计
架构文摘
05-27 1519
平台内的产品有一个数据分析，统计平台内某个商户某个时间段内（今天、昨天、7天内、30天内……）的各种数据分析，这种分析显然用MySql的count、sum、GroupBy...
ES统计操作
诸葛子房的博客
07-26 1282
1、count
Elasticsearch实战教程：如何使用集群索引数据来进行统计多个数据？
热门推荐
鸽芷咕的博客
07-05 2万+
Elasticsearch聚合查询是一种强大的工具，允许我们对索引中的数据进行复杂的统计分析和计算。本文将详细解释一个聚合查询示例，该查询用于统计满足特定条件的文档数量，并计算其占总文档数量的百分比。
es 聚合统计
he_yanghui的博客
01-05 2932
最新项目做ES 统计 就分享一下： 直接上代码 /** * 根据门类名称来分组统计 ，同时根据时间段获取数据 */ @Override public List<Map> esTjByMl(EsSearchDto esSearchDto) { List<Map> returnResult = new ArrayList<>(); String index = esSearchDto.getIndex(); try { SearchRequest
基于MySQL binlog日志，实现Elasticsearch近实时同步实践
fk_99的博客
01-20 827
背景 在我们的开发过程中，经常会在一个项目中使用多种数据库系统。在一些特定场景下，我们希望把数据从一种数据库，同步到另一种异构的数据库，以便进行数据分析统计、完成实时监控、实时搜索等功能。这个异构数据源同步的过程称为Change Data Capture（变化数据捕获）。 我们本文讨论的是Source为MySQL、Target为ElasticSearch的场景下，进行增量和全量同步操作过程。众所周知，MySQL数据库凭借其性能卓越、服务稳定、开放源代码、社区活跃等因素，成为当下最流行的关系型数据
【高级篇】第9章 Elasticsearch 监控与故障排查
David的博客
07-02 1159
除了预置仪表板，用户还可以根据特定需求创建自定义视图和仪表板，通过Elasticsearch索引中的监控数据，设计个性化的监控界面，聚焦于特定的性能指标或问题区域。
使用Elasticsearch聚合搜索进行数据的分类统计
闫玉林的博客
02-02 2316
HTTP请求 单个条件聚合，根据某一个维度去聚合统计 GET /zwfw/_search { "size": 0, "aggregations" : { "organDn.keyword_arr" : { "terms" : { "field" : "organDn.keyword", "size" : 100, "m...
Elasticsearch从入门到精通-06ES统计分析语法
落雪
03-21 935
ES统计分析语法讲解
用logstash,elasticSearch，kibana实现数据收集和统计分析工作
weixin_34015860的博客
11-28 302
2019独角兽企业重金招聘Python工程师标准>>> ...
【ElasticSearch-聚合查询】ES聚合统计及springboot对比实现
qq_42890164的博客
01-26 2936
一文详解Elasticsearch中涉及的桶聚合、指标聚合、管道聚合及其所属各类函数使用及springboot对比实现
es搜索，统计
最新发布
qq_20182781的博客
07-16 171
记得好几年前用es做过标签画像统计，如今再看es时已是很生疏了，再用时已更新到了7.12版本了。以前用TransportClient客户端，现在出了而且是官方推荐用RestHighLevelClient客户端。这几天用RestHighLevelClient时还是觉得比较方便的。现将一些基本常用功能记录一下。
elasticsearch统计（三）
摩羯座
10-06 509
elasticsearch统计，通配符。
Elasticsearch的查询和统计
大雪纷斐的博客
09-28 1474
第一步都是先打开kibana（开发者工具Dev Tools）控制台http://localhost:5601/app/kibana#/dev_tools/console?_g=()在插入数据的基础上进行 查询操作 1. 查询所有 GET /fei/_search { "query": { "match_all": {} } } 2. id到排序 GET /fei/_search { "query": { "match_all": {} }, "sort": [ { "_id": "
ElasticSearch 聚合统计
小识的博客
12-26 702
按照某个字段的范围进行聚合，from提供区间下界（包括），to提供区间上界（不包括）桶聚合：将文档分成不同的桶，桶的划分可以根据字段的值，范围，日期间隔。管道聚合：把桶聚集统计的结果作为输入来继续做聚集统计。度量聚合：求字段的平均值，最小值，最大值，总和等。聚集被命名为 avg_age。按照某个字段的值进行聚合。
ES聚合统计
hdn_kb的博客
12-02 3105
1. 以多个字段唯一并去重后统计总数 2. 求近15添内日平均数据 3. 求近15天内平均数据
评论 58
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT派同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值