ElasticsearchRestTemplate 聚合查询

已于 2023-07-20 17:21:03 修改
阅读量1.3k 收藏 4
点赞数 1
文章标签： java 开发语言
于 2023-07-13 14:04:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nsa65223/article/details/131701136
版权

语法如下：

POST /company/_search
{
  "aggs": {
    "NAME": { //指定结果的名称
      "AGG_TYPE": { //指定具体的聚合方法，
        TODO:  //# 聚合体内制定具体的聚合字段
      }
    }
    TODO:  //该处可以嵌套聚合
  }
}

聚合分析功能主要有指标聚合、桶聚合、管道聚合和矩阵聚合，常用的有指标聚合和桶聚合，本文主要看一下指标聚合和桶聚合怎么使用。

指标聚合

对某个字段取最大值max

【sql】
  select max(age) from company 
【ES】
  POST /company/_search
  {
    "aggs":{
      "max_age":{
        "max":{"field":"age"}
      }
    },
    "size":0 //size=0是为了只看聚合结果
  }

 结果如下:

{
    "aggregations": {
        "max_age": {
            "value": 64
        }
    }
}

elasticSearchRestTemplate java实现max

NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
MaxAggregationBuilder max =AggregationBuilders.max("maxAge").field("age");
queryBuilder.withAggregations(max);
SearchHits search = elasticSearchRestTemplate.search(queryBuilder.build(), DeviceInfo.class);

if (search.hasAggregations()) {
   AggregationsContainer container = search.getAggregations();
   Aggregations aggregations = (Aggregations) container.aggregations();
   if (Objects.nonNull(aggregations)) {
       Max maxAge= aggregations.get("maxAge");
       log.info("计算 maxAge最大值：{} ", maxAge.getValue());
   }
}

 对某个字段取最小值min

【sql】
  select min(age) from company 
【ES】
  POST /company/_search
  {
      "aggs":{
        "min_age":{
          "min":{"field":"age"}
        }
      },
      "size":0
    }

 结果如下：

{
    "aggregations": {
        "min_age": {
            "value": 1
        }
    }
}

 java实现

NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
MinAggregationBuilder min =AggregationBuilders.min("minAge").field("age");
queryBuilder.withAggregations(min);
SearchHits search = elasticSearchRestTemplate.search(queryBuilder.build(), DeviceInfo.class);

if (search.hasAggregations()) {
    AggregationsContainer container = search.getAggregations();
    Aggregations aggregations = (Aggregations) container.aggregations();
    if (Objects.nonNull(aggregations)) {
        Min minAge= aggregations.get("minAge");
        log.info("计算 minAge最小值：{} ", minAge.getValue());
    }
}

分组查询统计并分页

【sql】
  select p_key, count(running_state), count(use_state) from device_info group by p_key
【ES】

POST /device_info/_search
{
  "aggs": {
    "pKey_groupby": {
      "terms": {"field": "pKey"},
      "aggs": {
        "runningState_groupby": {
          "terms": {"field": "runningState"}
        },
        "useState_groupby": {
          "terms": {"field": "useState"}
        },
        "page":{
          "bucket_sort": {
            "from": 1,
            "size": 3
          }
        }
      }
    }
  },"size": 0
}

 结果

 java实现

NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
TermsAggregationBuilder pKeyAggregation = AggregationBuilders.terms("pKey").field("pKey");
TermsAggregationBuilder runningStateAggregation =AggregationBuilders.terms("runningState").field("runningState");
TermsAggregationBuilder useStateAggregation =AggregationBuilders.terms("useState").field("useState");
BucketSortPipelineAggregationBuilder bucket = new BucketSortPipelineAggregationBuilder("page",null).from(pageNum-1).size(pageSize);

pKeyAggregation.subAggregation(runningStateAggregation);
pKeyAggregation.subAggregation(useStateAggregation);
pKeyAggregation.subAggregation(bucket);
queryBuilder.withAggregations(pKeyAggregation);
NativeSearchQuery build = queryBuilder.build();
SearchHits search = elasticSearchRestTemplate.search(build, DeviceInfo.class);
Map<String,Integer> voMap = new HashMap<>();
if(search.hasAggregations()) {
    AggregationsContainer container = search.getAggregations();
    Aggregations aggregations = (Aggregations) container.aggregations();
    Terms pTerms = aggregations.get("pKey");
    int inx =0;
    for (Terms.Bucket bk : pTerms.getBuckets()) {
        DeviceBeanVo vo = new DeviceBeanVo();
        String key = bk.getKeyAsString();
        Integer cNum = Long.valueOf(bk.getDocCount()).intValue();
        vo.setProductName(key);
        vo.setAllNum(cNum);
        vo.setYjh(0);
        vo.setZx(0);
        vo.setLx(0);
        vo.setYqy(0);
        Aggregations aggs = bk.getAggregations();
        Terms rTerms = aggs.get("runningState");
        for (Terms.Bucket r : rTerms.getBuckets()) {
            String rKey = r.getKeyAsString();
            Integer rNum = Long.valueOf(r.getDocCount()).intValue();
            if(rKey.equals(RunStateEnum.YZX.getStatus().toString())){
                vo.setYjh(vo.getYjh()+rNum);
                vo.setZx(vo.getZx()+rNum);
            }else if(rKey.equals(RunStateEnum.YLX.getStatus().toString())){
                vo.setLx(vo.getLx()+rNum);
            }
        }
        Terms uTerms = aggs.get("useState");
        for (Terms.Bucket u : uTerms.getBuckets()) {
            String uKey = u.getKeyAsString();
            Integer uNum = Long.valueOf(u.getDocCount()).intValue();
            if(uKey.equals(StateEnum.YFB.getStatus().toString())){
                vo.setYqy(vo.getYqy()+uNum);
            }
        }
        list.add(vo);
        voMap.put(key,inx);
        inx++;
    }
}

复杂式查询

POST /device_info/_search
{
  "aggs": {
    "pKey_groupby": {
      "terms": {
        "field": "pKey"
      },
      "aggs": {
        "pKey_top":{
          "top_hits":{
            "size": 1
          }
        },
        "runningState_groupby": {
          "terms": {
            "field": "runningState"
          }
        },
        "useState_groupby": {
          "terms": {
            "field": "useState"
          }
        },
        "bucket_truncate": {
          "bucket_sort": {
            "from": 0,
            "size": 10,
            "sort": []
          }
        }
      }
    },
    "pKey_distinct": {
      "cardinality": {
        "field": "pKey"
      }
    }
  },"size": 0
}

 java 实现
Integer pageNum = null==req.getPageNum()?1:req.getPageNum();
Integer pageSize = null==req.getPageSize()?10:req.getPageSize();
List<DeviceBeanVo> list = new ArrayList<>();
NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
ZngxUser user = SecurityUtils.getUser();
if(user.getFlag().equals("1")){
    BoolQueryBuilder builder = QueryBuilders.boolQuery();
    builder.must(QueryBuilders.termQuery("tenantId",user.getTenantId()));
    queryBuilder.withQuery(builder);
}
Integer allNum = 0;
int start = (pageNum-1)*pageSize;
TermsAggregationBuilder pKeyAggregation = AggregationBuilders.terms("pKey").field("pKey");//要分组的字段
CardinalityAggregationBuilder pAllAggregation =AggregationBuilders.cardinality("pAll").field("pKey");//要distinct 统计的字段
TopHitsAggregationBuilder topAggregation=AggregationBuilders.topHits("device").size(1);//统计后匹配的一条数据
TermsAggregationBuilder runningStateAggregation =AggregationBuilders.terms("runningState").field("runningState");
TermsAggregationBuilder useStateAggregation =AggregationBuilders.terms("useState").field("useState");
BucketSortPipelineAggregationBuilder bucket = new BucketSortPipelineAggregationBuilder("page",null).from(start).size(pageSize);//桶分页
pKeyAggregation.subAggregation(topAggregation);
pKeyAggregation.subAggregation(runningStateAggregation);
pKeyAggregation.subAggregation(useStateAggregation);
pKeyAggregation.subAggregation(bucket);
queryBuilder.withAggregations(pKeyAggregation);
queryBuilder.withAggregations(pAllAggregation);
NativeSearchQuery build = queryBuilder.build();

SearchHits search = elasticSearchRestTemplate.search(build, DeviceInfo.class);
Set<String> kSet = new HashSet<>();
if(search.hasAggregations()) {
    AggregationsContainer container = search.getAggregations();
    Aggregations aggregations = (Aggregations) container.aggregations();
    Terms pTerms = aggregations.get("pKey");
    Cardinality cardinality = aggregations.get("pAll");
    allNum=Long.valueOf(cardinality.getValue()).intValue();
    for (Terms.Bucket bk : pTerms.getBuckets()) {
        DeviceBeanVo vo = new DeviceBeanVo();
        String key = bk.getKeyAsString();
        kSet.add(key);
        Integer cNum = Long.valueOf(bk.getDocCount()).intValue();
        vo.setAllNum(cNum);
        vo.setPKey(key);
        vo.setYjh(0);
        vo.setZx(0);
        vo.setLx(0);
        vo.setYqy(0);
        Aggregations aggs = bk.getAggregations();
        TopHits topHits = aggs.get("device");
        org.elasticsearch.search.SearchHits hits =topHits.getHits();
        org.elasticsearch.search.SearchHit  hit =hits.getHits()[0];
        DeviceInfo hitDev = BeanUtil.copyProperties(hit.getSourceAsMap(),DeviceInfo.class);
        vo.setProductName(hitDev.getProductName());
        Terms rTerms = aggs.get("runningState");
        for (Terms.Bucket r : rTerms.getBuckets()) {
            String rKey = r.getKeyAsString();
            Integer rNum = Long.valueOf(r.getDocCount()).intValue();
            if(rKey.equals(RunStateEnum.YZX.getStatus().toString())){
                vo.setYjh(vo.getYjh()+rNum);
                vo.setZx(vo.getZx()+rNum);
            }else if(rKey.equals(RunStateEnum.YLX.getStatus().toString())){
                vo.setLx(vo.getLx()+rNum);
            }
        }
        Terms uTerms = aggs.get("useState");
        for (Terms.Bucket u : uTerms.getBuckets()) {
            String uKey = u.getKeyAsString();
            Integer uNum = Long.valueOf(u.getDocCount()).intValue();
            if(uKey.equals(StateEnum.YFB.getStatus().toString())){
                vo.setYqy(vo.getYqy()+uNum);
            }
        }
        list.add(vo);
    }
}

 

nsa65223
关注
Java中通过ElasticsearchRestTemplate进行聚合操作
su_su_su_su的博客
07-29 5865
@Resource private ElasticsearchRestTemplate elasticsearchRestTemplate; @Override public void getFirstCategory(String keyword) { // 组装Builder NativeSearchQueryBuilder nativeSearchQueryBuilder = new NativeSearchQueryB...
elasticsearch聚合查询
warrah 南极狼
02-08 393
es 聚合复杂应用的实际运营，项目中实际用到的
ElasticsearchRestTemplate Java聚合查询+操作索引+查询时10000条上限
u014792378的博客
11-26 7451
文章目录分组查询索引操作创建索引 & 字段映射删除索引 分组查询 private final ElasticsearchRestTemplate esRestTemplate; // select count(1), status from order group by status public void aggregate(){ // 查询条件 NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuil
ElasticSearch分组聚合查询
最新发布
chenthe1的专栏
08-04 227
【代码】ElasticSearch分组聚合查询。
Elasticsearch 7.X 聚合查询 及 ElasticsearchRestTemplate 操作
小毕超博客
10-30 3994
Elasticsearch 7.X 聚合查询
ElasticSearch--聚合查询
Cloud的专栏
05-16 4428
聚合(aggs) 聚合一般用于数据的统计分析,类似于mysql的group by。 聚合里面有两个基本概念，一个叫桶，一个叫度量。 桶的作用，是按照某种方式对数据进行分组，每一组数据成为一个桶。比如对手机品牌分组，可以得到小米桶，华为桶。 桶的分组方式 Date Histogram Aggregation：根据日期阶梯分组，例如给定阶梯为周，会自动每周分为一组 Histogram Aggregation：根据数值阶梯分组，与日期类似 Terms Aggregation：根据词条内容分组，词条内容完
【ES常用查询】基于ElasticsearchRestTemplate及NativeSearchQuery的查询
wkywky123的博客
04-19 1070
本文链接：https://blog.csdn.net/weixin_50914566/article/details/134468453。但是目前这边同事是基于ElasticsearchRestTemplate跟NativeSearchQuery做的。版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。需要什么代码直接照搬，改个参数就行！以前我们是基于高标准客户端直接做的，
Elasticsearch之指标，分桶，管道聚合之操作类ElasticsearchRestTemplate和RestHighLevelClient以及dsl
sadnskajf的博客
08-31 4539
Bucketing（桶聚合）每个桶都与一个键和一个文档标准相关联，通过桶的聚合查询，我们将得到一个桶的列表，即：满足条 件的文档集合。是按照某种方式对数据进行分组 比如对1，2，3，1,3使用Terms对其聚合，可以得到1桶，2桶，3桶。看出ES的分组方式相当强大，mysql的group by只能实现类似Terms Aggregation的分组效果，而ES还可以根据阶梯和范围来分组。Pipeline（管道） 对其他聚合的输出或相关指标进行二次聚合 比如Terms聚合后拿到了1，2，3桶这个时候我们可以在对他
ElasticSearch 的 聚合（Aggregations）
hezheqiang的专栏
10-20 909
Elasticsearch有一个功能叫做 聚合(aggregations) ，它允许你在数据上生成复杂的分析统计。它很像SQL中的 GROUP BY 但是功能更强大。 Aggregations种类分为: Metrics, Metrics 是简单的对过滤出来的数据集进行avg,max等操作，是一个单一的数值。 Bucket, Bucket 你则可以理解为将过滤出来的数据集按条件分成多个小数据集...
ElasticsearchRestTemplate聚合查询
05-22
ElasticsearchRestTemplate提供了一些API来支持聚合查询，包括：AggregationBuilders、AggregatedPage等。 在ElasticsearchRestTemplate中，聚合查询的API主要有两个部分：聚合构建器（AggregationBuilders）和聚合...
ElasticSearchRestTemplate 聚合分页查询代码示例
07-14
当使用 ElasticSearch 的 RestTemplate 进行聚合分页查询时，你可以按照以下示例代码进行操作： ```java import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search....
ElasticsearchRestTemplate的聚合查询
05-13
要使用ElasticsearchRestTemplate进行聚合查询，需要使用Elasticsearch的聚合API。 以下是一个简单的示例，演示如何使用ElasticsearchRestTemplate进行聚合查询： ```java import org.elasticsearch.action.search...
SpringBoot之ElasticsearchRestTemplate常用示例
m0_67400973的博客
08-02 6030
包含格式化日期的字符串“2018-10-01”,或"2018/10/01121030"(可以通过format属性定义日期时间格式）—假值false,“false”,“off”,“no”,“0”,“”(空字符串),0.0,0。integer有符号的32位整数,范围[231~231-1]—真值true,“true”,“on”,“yes”,“1”…long有符号的64位整数,范围[263~263-1]...
Elasticsearch之聚合查询介绍与使用（附RestAPI代码案例）
热门推荐
小威的博客
04-12 3万+
本篇文章将介绍Elasticsearch搜索引擎之聚合查询的使用，这块内容不作为面试中的重点。
ES简单教程（四）使用ElasticsearchRestTemplate多条件分页查询（复杂版）
AVATAR
02-10 3185
使用ElasticsearchRestTemplate多条件分页查询（复杂版）
elasticsearchTemplate的聚合查询
chujuntu1211的博客
07-09 3041
直接上代码： // 创建一个查询条件对象 BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery(); // 拼接查询条件 queryBuilder.should(QueryBuilders.termQuery("字段", "值"))； ...
ElasticSearch聚合查询常用方法
qq_36748747的博客
08-22 780
elasticSearch聚合查询常用方法
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值