java 使用RestHighLevelClient 请求es聚合数据

最新推荐文章于 2024-08-14 04:00:00 发布
最新推荐文章于 2024-08-14 04:00:00 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： es 文章标签： elasticsearch java 请求聚合参数 es聚合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35461948/article/details/120064740
版权

java 使用RestHighLevelClient 查询es聚合数据

使用Java请求es，使用RestHighLevelClient 进行es聚合请求查询，ES聚合嵌套参数拼接，就好处理了，拼接好查询参数和聚合参数，就直接请求了

代码：

相关引用和参数类代码关联《使用RestHighLevelClient 请求ES数据》

1，参数拼接

import org.apache.commons.collections4.ListUtils;
import org.apache.commons.collections4.MapUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.commons.lang3.math.NumberUtils;
import org.elasticsearch.script.Script;
import org.elasticsearch.search.aggregations.AggregationBuilder;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.bucket.histogram.DateHistogramAggregationBuilder;
import org.elasticsearch.search.aggregations.bucket.histogram.DateHistogramInterval;
import org.elasticsearch.search.aggregations.bucket.range.DateRangeAggregationBuilder;
import org.elasticsearch.search.aggregations.bucket.range.RangeAggregationBuilder;
import org.elasticsearch.search.aggregations.pipeline.PipelineAggregatorBuilders;
import org.elasticsearch.search.aggregations.pipeline.bucketscript.BucketScriptPipelineAggregationBuilder;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.joda.time.DateTimeZone;

import java.util.List;
import java.util.Map;

public class StrTermNextScript {
 
    /**
     *  字符型的拼接
     *   第一层用 searchSourceBuilder 加
     */
    public static void joinEsStrAggs(Map<String,Object> aggsMap, SearchSourceBuilder searchSourceBuilder) {
        Map<String,Object> aggsNameMap = (Map<String, Object>) aggsMap.get("aggs");
        AggregationBuilder aggregationBuilder;

        for (Map.Entry name : aggsNameMap.entrySet()) {
            String aggName = name.getKey().toString();

            Map<String,Object> valueMap = (Map<String, Object>) name.getValue();
            for (Map.Entry value : valueMap.entrySet()) {
                String aggType = value.getKey().toString();
                Map<String,Object> fieldMap = (Map<String, Object>) value.getValue();
                aggregationBuilder = setAggsBuilders(aggName,aggType,fieldMap);
                if("terms".equals(aggType)){
                    Map<String,Object> innerAggsMap = (Map<String, Object>) valueMap.get("aggs");
                    if(MapUtils.isNotEmpty(innerAggsMap)){
                        joinSecEsStrAggs(innerAggsMap, aggregationBuilder);
                    }
                }
                if(aggregationBuilder != null){
                    searchSourceBuilder.aggregation(aggregationBuilder);
                }
            }
        }

    }


    /**
     *  字符型的拼接
     * 第二层用 aggregationBuilder 的 subAggregation 方法添加后面的内容
     */
    private static void joinSecEsStrAggs(Map<String,Object> aggsNameMap, AggregationBuilder allAggregationBuilder) {

        AggregationBuilder aggregationBuilder;
        for (Map.Entry name : aggsNameMap.entrySet()) {
            String aggName = name.getKey().toString();

            Map<String,Object> valueMap = (Map<String, Object>) name.getValue();
            for (Map.Entry value : valueMap.entrySet()) {
                String aggType = value.getKey().toString();
                Map<String,Object> fieldMap = (Map<String, Object>) value.getValue();
                aggregationBuilder = setAggsBuilders(aggName,aggType,fieldMap);
                if("terms".equals(aggType)){
                    Map<String,Object> innerAggsMap = (Map<String, Object>) valueMap.get("aggs");
                    if(MapUtils.isNotEmpty(innerAggsMap)){
                        joinSecEsStrAggs(innerAggsMap, aggregationBuilder);
                    }
                }
                if("bucket_script".equals(aggType)){
                    BucketScriptPipelineAggregationBuilder bucketScript = getBucketScript(aggName,fieldMap);
                    if(aggregationBuilder != null){
                        aggregationBuilder.subAggregation(bucketScript);
                    }else{
                        allAggregationBuilder.subAggregation(bucketScript);
                    }
                }
                if(aggregationBuilder != null){
                    allAggregationBuilder.subAggregation(aggregationBuilder);
                }

            }

        }


    }

    private static BucketScriptPipelineAggregationBuilder getBucketScript(String aggName, Map<String, Object> aggParam){
        // 这边还得把之前的添加到一块
        Map<String, String> bucketsPathHashMap = (Map<String, String>) aggParam.get("buckets_path");
        return PipelineAggregatorBuilders.bucketScript(aggName, bucketsPathHashMap,
                new Script(MapUtils.getString(aggParam,"script"))).format("#.##");
    }

    /**
     *  根据聚合类型 获取对应的聚合builder
     * @param aggName  聚合名称
     * @param aggType  聚合类型
     * @param aggParam  聚合参数
     * @return AggregationBuilder
     */
    private static AggregationBuilder setAggsBuilders(String aggName, String aggType,  Map<String, Object> aggParam){

        String fieldValue = MapUtils.getString(aggParam, "field");

        AggregationBuilder aggregationBuilder = null;
        if("terms".equals(aggType)){
            int size = MapUtils.getIntValue(aggParam, "size");
            if(size == NumberUtils.INTEGER_ZERO){
                size = 10;
            }
            aggregationBuilder = AggregationBuilders.terms(aggName).field(fieldValue).size(size);
        }else if("sum".equals(aggType)){
            aggregationBuilder = AggregationBuilders.sum(aggName).field(fieldValue);
        }else if("avg".equals(aggType)){
            aggregationBuilder = AggregationBuilders.avg(aggName).field(fieldValue);
        }else if("max".equals(aggType)){
            aggregationBuilder = AggregationBuilders.max(aggName).field(fieldValue);
        }else if("min".equals(aggType)){
            aggregationBuilder = AggregationBuilders.min(aggName).field(fieldValue);
        }else if("value_count".equals(aggType)){
            aggregationBuilder = AggregationBuilders.count(aggName).field(fieldValue);
        }else if ("cardinality".equals(aggType)) {// 去重之后总数
            aggregationBuilder = AggregationBuilders.cardinality(aggName).field(fieldValue);
        } else if ("histogram".equals(aggType)) {// 直方图
            Double interval = MapUtils.getDouble(aggParam, "interval");
            Long minDocCount = MapUtils.getLong(aggParam, "min_doc_count");
            aggregationBuilder = AggregationBuilders.histogram(aggName).field(fieldValue).interval(interval)
                    .minDocCount(minDocCount);
        } else if ("date_histogram".equals(aggType)) {// 日期直方图
            String interval = MapUtils.getString(aggParam, "interval");
            String format = MapUtils.getString(aggParam, "format");
            Long minDocCount = MapUtils.getLong(aggParam, "min_doc_count");
            DateHistogramAggregationBuilder dateHistogramAggregationBuilder = AggregationBuilders.dateHistogram(aggName)
                    .field(fieldValue).dateHistogramInterval(new DateHistogramInterval(interval))
                    .minDocCount(minDocCount).timeZone(DateTimeZone.forOffsetHours(8));
            if (StringUtils.isNotEmpty(format)) {
                dateHistogramAggregationBuilder.format(format);
            }
            aggregationBuilder = dateHistogramAggregationBuilder;
        } else if ("range".equals(aggType)) {// 范围
            String fieleName = MapUtils.getString(aggParam, "field");
            List<Map<String, Object>> ranges = (List<Map<String, Object>>) aggParam.get("ranges");
            RangeAggregationBuilder rangeAggregationBuilder = AggregationBuilders.range(aggName).field(fieleName);
            ListUtils.emptyIfNull(ranges).forEach(e -> {
                Double from = MapUtils.getDouble(e, "from");
                Double to = MapUtils.getDouble(e, "to");
                rangeAggregationBuilder.addRange(from, to);
            });

            aggregationBuilder = rangeAggregationBuilder;
        } else if ("date_range".equals(aggType)) {// 日期范围
            String fieleName = MapUtils.getString(aggParam, "field");
            String format = MapUtils.getString(aggParam, "format");
            List<Map<String, Object>> ranges = (List<Map<String, Object>>) aggParam.get("ranges");
            DateRangeAggregationBuilder dateRangeAggregationBuilder = AggregationBuilders.dateRange(aggName)
                    .field(fieleName).timeZone(DateTimeZone.forOffsetHours(8));

            if (StringUtils.isNotEmpty(format)) {
                dateRangeAggregationBuilder.format(format);
            }
            ListUtils.emptyIfNull(ranges).forEach(e -> {
                String from = MapUtils.getString(e, "from");
                String to = MapUtils.getString(e, "to");
                dateRangeAggregationBuilder.addRange(from, to);
            });
            aggregationBuilder = dateRangeAggregationBuilder;
        }
        return aggregationBuilder;
    }

}

参数处理的部分，再贴出来

2，查询聚合getEsAggs

public void getEsAggs(EsQuery esQuery) {
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    SearchRequest searchRequest = new SearchRequest();
    // 查询的索引
    searchRequest.indices(esQuery.getSourceIndex());
  
    String sourceExpr = esQuery.getSourceExpr();
    String queryStr = "";
    JSONObject searchJson = JSONObject.parseObject(sourceExpr);
    // 参数,带query 和 aggs的， 只有aggs的
    WrapperQueryBuilder wrapperQueryBuilder = null;

    if (!StringUtils.isEmpty(sourceExpr)) {
        // 查询参数
        if (sourceExpr.contains("query")) {// 带有query的查询
            queryStr = searchJson.getJSONObject("query").toJSONString();
        }
        if (StringUtils.isNotEmpty(queryStr)) {
            wrapperQueryBuilder = QueryBuilders.wrapperQuery(queryStr);
        }

        // 聚合参数
        JSONObject aggs = searchJson.getJSONObject("aggregations");
        StrTermNextScript.joinEsStrAggs(aggs, searchSourceBuilder);
    }

    if (wrapperQueryBuilder != null) {
        searchSourceBuilder.query(wrapperQueryBuilder);
    }
    searchSourceBuilder.size(0);
    searchRequest.source(searchSourceBuilder);
    System.out.println("aggExpr " + searchSourceBuilder.toString());

    try {
        SearchResponse searchResponse = highLevelClient.search(searchRequest, RequestOptions.DEFAULT);
        logger.info(searchResponse.toString());
        Aggregations aggregations = searchResponse.getAggregations();
        List<Aggregation> aggregationList = aggregations.asList();

        for (Aggregation aggregation : aggregationList) {
            logger.info(JSON.toJSONString(aggregation));
            Terms histogram = (Terms) aggregation;
            for (Terms.Bucket bucket : histogram.getBuckets()) {
                logger.info(bucket.getKeyAsString());
                logger.info("" + bucket.getDocCount());
            }
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

聚合查询的时候，size设置为0

总结：

    Es聚合参数，包括参数部分和聚合部分。参数部分只用处理参数部分，分页，排序，那些就不用处理了。聚合部分，参数处理好了，就是获取值了。对于值的处理，又是需要花点时间处理。

下一篇： 《平铺es聚合数据》

天狼1222
关注
专栏目录
RestHighLevelClient对字段进行聚合
m0_57302315的博客
11-02 677
引入elasticsearch坐标 <dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>6.5.4
java RestHighLevelClient方式操作es
学习进步
12-07 2535
之前有写过一篇文章，介绍使用继承ElasticsearchRepository类或者使用ElasticSearchTemplate的方式进行CRUD，但是因为API更新不及时，逐渐不用了。目前还是推荐使用官方的API，即RestHighLevelClient的方式查询。使用过程中遇到一些坑，记录下 maven依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifact
RestHighLevelClient进阶-聚合操作
qq_41345292的博客
01-17 404
参考文章： https://www.cnblogs.com/heyouxin/p/13865293.html
使用RestHighLevelClient进行Elasticsearch聚合操作
一起coding，一起嗨。
08-14 548
使用RestHighLevelClient进行Elasticsearch聚合操作
ES的RestHighLevelClient的聚合查询
CHSXS的博客
05-19 6125
对ES的某字段聚合求SUM，按时间字段来分组，ES的版本是7.5 /获取连接 RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("172.16.0.200", 9200, "http"))); //设置索引 SearchRequest searchRequest = new SearchRequest("your index"); //构建查询 SearchSourceBuilder so
通过RestHighLevelClient实现ES聚合查询
weixin_44710084的博客
05-16 1万+
功能简介 为了实现商品搜索时，动态展示分类筛选条件，需要借助聚合查询实现。 功能上有分页、搜索、字段聚合。 难点 做聚合查询时，商品都会有分类、品牌，可以直接使用agg函数查出，但商品的属性是动态变化的，需要进行多次聚合查询，将商品的属性转化为k-v形式（k-属性名，v-属性值集合）。特别是通过java取出时，也需要对数据进行进一步处理。 DSL语法 GET /goods/doc/_search ...
ES restHighLevelClient API 聚合查询
Justin_ly的博客
05-10 1209
ES聚合查询，分组，时间排序，按时间
Java 读取 Elasticsearch 数据
爱开发
03-15 793
由于项目需要，需要用java读取Elasticsearch中的数据，第一次使用Elasticsearch，有点心惊胆战的，生怕查询错了，做个简单笔记。在 Java 中获取 Elasticsearch 数据可以使用 Elasticsearch 的 Java 客户端库进行操作，简单示例代码如下：// 创建连接 RestHighLevelClient client = new RestHighLevel...
基于Elasticsearch Java API的参考手册
04-29
Java API是Elasticsearch官方提供的与Elasticsearch服务器进行交互的主要工具，它使得开发者能够用Java语言便捷地进行索引、搜索、聚合等多种操作。 ### 一、Elasticsearch核心概念 1. **节点(Node)**: Elastic...
es7.1聚合查询 javaAPI
IT_arookie的博客
08-24 2753
查询符合条件的数据量 /** * 查询符合条件的数据量 * * @param client RestHighLevelClient类型的连接对象 * @param queryBuilder 查询限制条件 可以为null * @return long * @throws IOException 查询数据抛出的异常 */ public long getAllCountForOneField(RestHighLevelClient client, QueryBu.
elasticSearch聚合查询案例（按照小时、天统计数据）
weixin_43704834的博客
10-19 7391
es查询json { "from": 0, "size": 0, "query": { "bool": { "must": [ { "match_all": {} } ], "must_not": [], "should": [] } }, "aggs": { "group_by_captureTime": { "date_histogram": {
Es7.x使用RestHighLevelClient进行聚合操作
猪之仆的博客
07-10 3179
参考：http://events.jianshu.io/p/cd27fe9cb642 https://www.cnblogs.com/heyouxin/p/13865293.html 聚合操作分为指标聚合和分组聚合。RestHighLevelClient可以使用API方法也可以使用script脚本进行聚合。 1.API聚合方法 @Slf4j public class EsAggsTest { public static void testAggs() thro...
ElasticSearch-RestHighLevelClient聚合查询总结
孟孟的博客
04-03 3269
目录 一、TopHitsAggregation 二、TermsAggregation 三、CardinalityAggregation 四、DateHistogramAggregation 五、SumAggregation 六、AvgAggregation 七、MaxAggregation 八、MinAggregation SpringBoot使用ES的Aggregation聚合查询总结 一、TopHitsAggregation public TopHitsAggregationBu
【ES】 java高级客户端 RestHighLevelClient
mateo的博客
08-01 952
【ES】java高级客户端RestHighLevelClient。
Elasticsearch通过RestHighLevelClient实现聚合分组及聚合计算查询
热门推荐
一恍过去
08-22 2万+
Elasticsearch通过RestHighLevelClient实现聚合分组及聚合计算查询
使用RestHighLevelClient 请求ES数据
一路向前
09-02 1701
RestHighLevelClient 请求ES数据 使用Java请求es，如何使用RestHighLevelClient 进行请求查询，获取到数据呢？ 过程： 0，引用： 引用文件： Maven: <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version&gt...
ElasticSearch(7.8版本)聚合查询使用javaHighLevelRestClient实现(从MySQL聚合查询概念-＞ES聚合概念及实操)
weixin_43356308的博客
04-21 3712
文章目录什么是聚合操作？（MySQL）1.聚合函数2.聚合分组3.聚合筛选为什么不能在where语句中使用聚合函数，与having的区别?ES的聚合查询（在Kibana中的原生操作）1.聚合查询简介elasticsearch聚合--桶（Buckets）和指标（Metrics）的概念[3. 如何运行一个聚合查询](https://blog.csdn.net/w1014074794/article/details/120845124)4. [ElasticSearch聚合查询报错：Text fields are
RestHighLevelClient查询es
weixin_30896763的博客
06-01 958
本篇分享的是es官网推荐的es客户端组件RestHighLevelClient的使用，其封装了操作es的crud方法，底层原理就是模拟各种es需要的请求，如put，delete，get等方式；本篇主要分享常用查询，希望能给大家带来好的帮助； 分页查询 条件查询 文本模糊匹配 时间范围匹配 超时设置 es超时时间 RestHighLevelClient发送请求...
java代码中使用ES分组聚合
最新发布
09-11
在Java代码中使用Elasticsearch（ES）进行分组聚合，通常是通过Elasticsearch的Java客户端库来实现的。这通常涉及以下步骤： 1. **添加依赖**：首先，需要在项目中添加Elasticsearch的客户端库依赖，比如使用Spring Data Elasticsearch或直接使用Elasticsearch官方的RestHighLevelClient。 2. **创建客户端连接**：使用`RestHighLevelClient`类创建与ES集群的连接。 3. **构建查询**：构建一个聚合查询，例如使用`TermsAggregationBuilder`来实现分组（group by）。 4. **执行查询**：将构建好的查询通过客户端发送给Elasticsearch集群执行。 5. **处理结果**：从返回的结果中提取并处理所需的聚合数据。 下面是一个使用`RestHighLevelClient`的简单示例代码，展示如何在Java中执行一个按照某个字段分组的聚合查询： ```java import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.aggregations.AggregationBuilders; import org.elasticsearch.search.aggregations.bucket.terms.TermsAggregationBuilder; import org.elasticsearch.search.builder.SearchSourceBuilder; // 创建RestHighLevelClient实例 RestHighLevelClient client = new RestHighLevelClient( RestClient.builder(new HttpHost("localhost", 9200, "http"))); try { // 创建一个分组聚合查询 TermsAggregationBuilder aggregation = AggregationBuilders.terms("group_by_field").field("field_name"); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.aggregation(aggregation); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); // 创建搜索请求 SearchRequest searchRequest = new SearchRequest("index_name"); searchRequest.source(searchSourceBuilder); // 执行搜索请求 SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); // 处理响应 Aggregations aggregations = searchResponse.getAggregations(); Terms groupByField = aggregations.get("group_by_field"); for (Terms.Bucket bucket : groupByField.getBuckets()) { String key = bucket.getKeyAsString(); // 处理每个分组的数据 } } catch (IOException e) { e.printStackTrace(); } finally { // 关闭客户端连接 try { client.close(); } catch (IOException e) { e.printStackTrace(); } } ``` 在上面的代码中，我们创建了一个`TermsAggregationBuilder`实例来对名为`field_name`的字段进行分组聚合，并通过`searchRequest`发送查询请求到Elasticsearch的`index_name`索引。然后处理返回的结果，提取每个分组的键（key）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天狼1222

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值