关于elasticsearch的先聚合和过滤、先过滤再聚合的详解

最新推荐文章于 2022-06-16 18:19:23 发布
最新推荐文章于 2022-06-16 18:19:23 发布
阅读量1.3k 收藏
点赞数
文章标签： 大数据 java python
原文链接：https://my.oschina.net/u/2367628/blog/1555872
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

对于elasticsearch的聚合和过滤，他的结果并不会受到你写的顺序而影响。换句话说就是你无论是在聚合语句的前面写过滤条件，还是在过滤语句后面写过滤条件都不会影响他的结果。他都会先过滤再聚合和关系数据库一样先where后group by。 但是如果你想过滤条件不影响聚合(agg)结果，而只是改变hits结果；可以使用setPostFilter() 这个方法

eg：全部数据 代码：


SearchResponse response = null;  
SearchRequestBuilder responsebuilder = client.prepareSearch("company")  
               .setTypes("employee").setFrom(0).setSize(250);  
AggregationBuilder aggregation = AggregationBuilders  
               .terms("agg")  
               .field("age")  ;  
response = responsebuilder
                      .addAggregation(aggregation)
                      .setExplain(true).execute().actionGet();
SearchHits hits = response.getHits(); 
Terms agg = response.getAggregations().get("agg");

结果： 仅聚合结果不过滤（注意看hits和agg里的结果）

{
    "took":100,
    "timed_out":false,
    "_shards":{
        "total":5,
        "successful":5,
        "failed":0
    },
    "hits":{
        "total":7,
        "max_score":1,
        "hits":[
            {
                "_shard":1,
                "_node":"fvp3NBT5R5i6CqN3y2LU4g",
                "_index":"company",
                "_type":"employee",
                "_id":"5",
                "_score":1,
                "_source":{
                    "name":"Fresh",
                    "age":22
                },
                "_explanation":Object{...}
            },
            {
                "_shard":1,
                "_node":"fvp3NBT5R5i6CqN3y2LU4g",
                "_index":"company",
                "_type":"employee",
                "_id":"10",
                "_score":1,
                "_source":{
                    "name":"Henrry",
                    "age":30
                },
                "_explanation":Object{...}
            },
            {
                "_shard":1,
                "_node":"fvp3NBT5R5i6CqN3y2LU4g",
                "_index":"company",
                "_type":"employee",
                "_id":"9",
                "_score":1,
                "_source":{
                    "address":{
                        "country":"china",
                        "province":"jiangsu",
                        "city":"nanjing",
                        "area":{
                            "pos":"10001"
                        }
                    }
                },
                "_explanation":Object{...}
            },
            {
                "_shard":2,
                "_node":"fvp3NBT5R5i6CqN3y2LU4g",
                "_index":"company",
                "_type":"employee",
                "_id":"2",
                "_score":1,
                "_source":{
                    "address":{
                        "country":"china",
                        "province":"jiangsu",
                        "city":"nanjing"
                    },
                    "name":"jack_1",
                    "age":19,
                    "join_date":"2016-01-01"
                },
                "_explanation":Object{...}
            },
            {
                "_shard":2,
                "_node":"fvp3NBT5R5i6CqN3y2LU4g",
                "_index":"company",
                "_type":"employee",
                "_id":"4",
                "_score":1,
                "_source":{
                    "name":"willam",
                    "age":18
                },
                "_explanation":Object{...}
            },
            {
                "_shard":2,
                "_node":"fvp3NBT5R5i6CqN3y2LU4g",
                "_index":"company",
                "_type":"employee",
                "_id":"6",
                "_score":1,
                "_source":{
                    "name":"Avivi",
                    "age":30
                },
                "_explanation":Object{...}
            },
            {
                "_shard":4,
                "_node":"K7qK1ncMQUuIe0K6VSVMJA",
                "_index":"company",
                "_type":"employee",
                "_id":"3",
                "_score":1,
                "_source":{
                    "address":{
                        "country":"china",
                        "province":"shanxi",
                        "city":"xian"
                    },
                    "name":"marry",
                    "age":35,
                    "join_date":"2015-01-01"
                },
                "_explanation":Object{...}
            }
        ]
    },
    "aggregations":{
        "agg":{
            "doc_count_error_upper_bound":0,
            "sum_other_doc_count":0,
            "buckets":[
                {
                    "key":30,
                    "doc_count":2
                },
                {
                    "key":18,
                    "doc_count":1
                },
                {
                    "key":19,
                    "doc_count":1
                },
                {
                    "key":22,
                    "doc_count":1
                },
                {
                    "key":35,
                    "doc_count":1
                }
            ]
        }
    }
}

1、setQuery() 写在前面 代码：


 SearchResponse response = null;  
 SearchRequestBuilder responsebuilder = client.prepareSearch("company")  
                .setTypes("employee").setFrom(0).setSize(250);  
 AggregationBuilder aggregation = AggregationBuilders  
                .terms("agg")  
                .field("age")  ;  
response = responsebuilder
        	       .setQuery(QueryBuilders.rangeQuery("age").gt(30).lt(40))
                       .addAggregation(aggregation)
                       .setExplain(true).execute().actionGet();
 SearchHits hits = response.getHits(); 
 Terms agg = response.getAggregations().get("agg");

结果：

{
    "took":538,
    "timed_out":false,
    "_shards":{
        "total":5,
        "successful":5,
        "failed":0
    },
    "hits":{
        "total":1,
        "max_score":1,
        "hits":[
            {
                "_shard":4,
                "_node":"anlkGjjuQ0G6DODpZgiWrQ",
                "_index":"company",
                "_type":"employee",
                "_id":"3",
                "_score":1,
                "_source":{
                    "address":{
                        "country":"china",
                        "province":"shanxi",
                        "city":"xian"
                    },
                    "name":"marry",
                    "age":35,
                    "join_date":"2015-01-01"
                },
                "_explanation":Object{...}
            }
        ]
    },
    "aggregations":{
        "agg":{
            "doc_count_error_upper_bound":0,
            "sum_other_doc_count":0,
            "buckets":[
                {
                    "key":35,
                    "doc_count":1
                }
            ]
        }
    }
}

2、setQuery() 写在后面 代码：


SearchResponse response = null;  
SearchRequestBuilder responsebuilder = client.prepareSearch("company")  
               .setTypes("employee").setFrom(0).setSize(250);  
AggregationBuilder aggregation = AggregationBuilders  
               .terms("agg")  
               .field("age")  ;  
response = responsebuilder
                      .addAggregation(aggregation)
                      .setQuery(QueryBuilders.rangeQuery("age").gt(30).lt(40)
                      .setExplain(true).execute().actionGet();
SearchHits hits = response.getHits(); 
Terms agg = response.getAggregations().get("agg");

结果：


"took":538,
  "timed_out":false,
  "_shards":{
      "total":5,
      "successful":5,
      "failed":0
  },
  "hits":{
      "total":1,
      "max_score":1,
      "hits":[
          {
              "_shard":4,
              "_node":"anlkGjjuQ0G6DODpZgiWrQ",
              "_index":"company",
              "_type":"employee",
              "_id":"3",
              "_score":1,
              "_source":{
                  "address":{
                      "country":"china",
                      "province":"shanxi",
                      "city":"xian"
                  },
                  "name":"marry",
                  "age":35,
                  "join_date":"2015-01-01"
              },
              "_explanation":Object{...}
          }
      ]
  },
  "aggregations":{
      "agg":{
          "doc_count_error_upper_bound":0,
          "sum_other_doc_count":0,
          "buckets":[
              {
                  "key":35,
                  "doc_count":1
              }
          ]
      }
  }
}

3、setPostFilter() 在聚合.aggAggregation()方法后 代码：


  SearchResponse response = null;  
    SearchRequestBuilder responsebuilder = client.prepareSearch("company")  
               .setTypes("employee").setFrom(0).setSize(250);  
   AggregationBuilder aggregation = AggregationBuilders  
               .terms("agg")  
               .field("age")  ;  
  response = responsebuilder
                      .addAggregation(aggregation)
                      .setPostFilter(QueryBuilders.rangeQuery("age").gt(30).lt(40))  
                      .setExplain(true).execute().actionGet();
  SearchHits hits = response.getHits(); 
  Terms agg = response.getAggregations().get("agg");  

结果：

 {
    "took":7,
    "timed_out":false,
    "_shards":{
        "total":5,
        "successful":5,
        "failed":0
    },
    "hits":{
        "total":1,
        "max_score":1,
        "hits":[
            {
                "_shard":4,
                "_node":"fvp3NBT5R5i6CqN3y2LU4g",
                "_index":"company",
                "_type":"employee",
                "_id":"3",
                "_score":1,
                "_source":{
                    "address":{
                        "country":"china",
                        "province":"shanxi",
                        "city":"xian"
                    },
                    "name":"marry",
                    "age":35,
                    "join_date":"2015-01-01"
                },
                "_explanation":Object{...}
            }
        ]
    },
    "aggregations":{
        "agg":{
            "doc_count_error_upper_bound":0,
            "sum_other_doc_count":0,
            "buckets":[
                {
                    "key":30,
                    "doc_count":2
                },
                {
                    "key":18,
                    "doc_count":1
                },
                {
                    "key":19,
                    "doc_count":1
                },
                {
                    "key":22,
                    "doc_count":1
                },
                {
                    "key":35,
                    "doc_count":1
                }
            ]
        }
    }
}

4、setPostFilter() 在聚合.aggAggregation()方法前 代码：

SearchResponse response = null;  
   SearchRequestBuilder responsebuilder = client.prepareSearch("company")  
              .setTypes("employee").setFrom(0).setSize(250);  
  AggregationBuilder aggregation = AggregationBuilders  
              .terms("agg")  
              .field("age")  ;  
 response = responsebuilder
                     .setPostFilter(QueryBuilders.rangeQuery("age").gt(30).lt(40))  
                     .addAggregation(aggregation)
                     .setExplain(true).execute().actionGet();
 SearchHits hits = response.getHits(); 
 Terms agg = response.getAggregations().get("agg");

结果：

  {
    "took":5115,
    "timed_out":false,
    "_shards":{
        "total":5,
        "successful":5,
        "failed":0
    },
    "hits":{
        "total":1,
        "max_score":1,
        "hits":[
            {
                "_shard":4,
                "_node":"b8cNIO5cQr2MmsnsuluoNQ",
                "_index":"company",
                "_type":"employee",
                "_id":"3",
                "_score":1,
                "_source":{
                    "address":{
                        "country":"china",
                        "province":"shanxi",
                        "city":"xian"
                    },
                    "name":"marry",
                    "age":35,
                    "join_date":"2015-01-01"
                },
                "_explanation":Object{...}
            }
        ]
    },
    "aggregations":{
        "agg":{
            "doc_count_error_upper_bound":0,
            "sum_other_doc_count":0,
            "buckets":[
                {
                    "key":30,
                    "doc_count":2
                },
                {
                    "key":18,
                    "doc_count":1
                },
                {
                    "key":19,
                    "doc_count":1
                },
                {
                    "key":22,
                    "doc_count":1
                },
                {
                    "key":35,
                    "doc_count":1
                }
            ]
        }
    }
}

总结： 可以从运行的结果很好的看出无论是setPostFilter()还是setQuery()，它放在那的顺序并不会影响他的结果。更可以看出setQuery()这个方法的过滤条件不仅会影响它的hits的结果还会影响他的聚合（agg）结果。然而对于setPostFilter()这个方法，它只会影响hits的结果，并不会影响它的聚合（agg）结果。

转载于:https://my.oschina.net/u/2367628/blog/1555872

weixin_33827731
关注
02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024
01-08
**Elasticsearch 8.x 向量搜索使用详解** Elasticsearch 8.x 版本引入了对向量搜索的支持，这使得它能够处理非结构化的数据，如图像、文本和语音的语义搜索。向量搜索是通过将数据转换为高维向量并进行相似度比较来...
ElastaticSearch -- es之Filters aggregation 先过滤再聚合
一生编程，快乐编程
11-13 732
使用es时，有时我们需要先过滤后再聚合，但如果直接在query的filter中过滤，不止会影响到一个聚合，还会影响到其他的聚合结果。这时可以使用Filters aggregation。也就是在aggregations中先过滤后再聚合。比如，我们想要统计深圳市某个品牌的总销售额，以及该品牌的女款衣服的销售额。直接filter过滤款式为女，那么就无法统计总销售额了。
控制ES过滤与聚合起作用的顺序
淡定一生2333的博客
08-23 2644
先给出结论：     ES在执行的时候,不是按照代码书写的顺序来执行的,而是按照API的规则来执行的。即setQuery和addAggregation在代码中的前后顺序是不影响结果的，ES会和普通的关系型数据库一样，先进行where再进行group by。   接着介绍下各种filter的作用：     1.setQuery(或者说filter)：对搜索结果和aggregation都起作用...
Elasticsearch过滤与聚合的先后顺序java实现
热门推荐
molong1208的专栏
01-26 6万+
Elasticsearch的聚合结果是先过滤或者搜索后聚合，那么如果我们想要先聚合，然后对结果进行再一次的过滤或者搜索应该如何实现呢，在此给出简单的java实现demo
ElasticSearch教程（详解版）
最新发布
06-01
**Elasticsearch 入门详解** Elasticsearch 是一个基于 Lucene 的开源全文搜索引擎，它提供了分布式、实时、可扩展的搜索和分析引擎。作为大数据时代的重要工具，Elasticsearch 被广泛应用于日志分析、监控、推荐...
ElasticSearch官方测试数据
09-14
Elasticsearch（ES）是一种流行的开源全文搜索引擎，它基于Lucene库构建，被广泛用于大数据分析、日志聚合、实时搜索和索引等场景。官方提供的测试数据集是检验Elasticsearch功能、性能和稳定性的关键资源，可以帮助...
Spring data elasticsearch使用方法详解
08-25
Spring Data Elasticsearch 支持多种查询方式，包括简单的 ID 查询、条件查询、聚合查询等。例如，你可以使用 `findBy*` 方法进行简单的查询，或者自定义 `@Query` 注解实现复杂的查询逻辑。 ```java List<Item> ...
Elasticsearch的核心功能和特点
05-18
### Elasticsearch的核心功能与特点详解 #### 一、概述 Elasticsearch是一款开源的分布式搜索与分析引擎，基于Apache Lucene构建。它专为实时数据处理和高效搜索而设计，能够帮助用户快速存储、检索和分析大量数据...
elasticsearch脚本实现先聚合后过滤
03-02
elasticsearch脚本实现先聚合，然后使用聚合的值进行后过滤
elasticsearch聚合值过滤
03-02
elasticsearch先聚合然后通过聚合后的值再进行过滤 a
ElasticSearch 过滤聚合结果
10-12
ElasticSearch对数据进行聚合并对聚合结果值进行过滤查询
ES过滤聚合
zsj777的专栏
08-12 661
"aggs" : { "<aggregation_name>" : { <!--聚合的名字 --> "<aggregation_type>" : { <!--聚合的类型 --> <aggregation_body> <!--聚合体：对哪些字段进行聚合 --> } [,"meta" : { [<meta_data_body>] } ]? &lt.
es 时间过滤java,Elasticsearch过滤与聚合的先后顺序java实现
weixin_30486919的博客
03-13 787
一、Elasticsearch的聚合ES的聚合相当于关系型数据库里面的group by，例如查找在性别字段男女人数的多少并且按照人数的多少进行排序，在使用MySQL的时候，可以使用如下的句子selectsex,count(*)fromtable_namegroupbysexorderbycount(*)在ES里面想要实现这种的语句，就叫做聚合，比如这种的聚合使用DSL语句的话如下...
Elasticsearch查询以及聚合查询
clear_to_的博客
06-16 1965
Elasticsearch 查询
ES中如何实现类似having的先聚合再过滤查询
弹指天下
08-02 4022
ES中如何实现类似having的先聚合再过滤查询
ES学习记录4——ES中的过滤和聚合
jacksonary的博客
09-27 7653
6. 过滤  之前忽略了在搜索返回结果中的hits._score和max_score参数，其实都是指文档与指定的搜索查询匹配程度的相对度量，score越高，匹配度越高。但查询并不总是需要产生分数，特别是当它们仅用于“过滤”文档集时，Elasticsearch会检测这些情况并自动优化查询执行，以便不计算无用的分数。bool搜索和range搜索都支持过滤操作，如(在bool内部)： // 过滤得到20...
Elasticsearch聚合分析与DocValues, FieldData详解
Elasticsearch 的聚合分析功能结合 DocValues 和 FieldData 的特性，为数据分析提供了强大且灵活的工具。熟练掌握这两个数据结构的使用，能够让你在实际项目中更有效地进行复杂的数据处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值