Java 实现Elasticsearch Aggregations 统计buckets中key的个数

统计访问超5000的ulr有多少个(sum的最大值会小于等于size,因此size的预估很重要)

GET /logstash-2018.03.27/_search?
{
   "size": 0,
   "aggs": {
      "all_terms": {
         "terms": {
            "field": "url_regex",
            "size": 30,
             "min_doc_count": 5000
         },
         "aggs": {
            "distinct_url": {
               "cardinality": { 
                  "field": "url_regex"
               }
            }
         }
      },
      "sum_of_rul": {
         "sum_bucket": {
            "buckets_path": "all_terms>distinct_url.value"
         }
      }
   }
}
 

Java代码实现如下

请参见http://120.203.18.89:6969/102/elasticsearch-aggregations-%e7%bb%9f%e8%ae%a1buckets%e4%b8%adkey%e7%9a%84%e4%b8%aa%e6%95%b0/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Java实现ES的去重统计数量可以使用ES的Java客户端库。下面是一个示例代码: ``` import org.elasticsearch.action.search.SearchRequest; import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.index.query.QueryBuilders; import org.elasticsearch.search.aggregations.AggregationBuilders; import org.elasticsearch.search.aggregations.metrics.cardinality.Cardinality; import org.elasticsearch.search.aggregations.metrics.cardinality.CardinalityAggregationBuilder; import org.elasticsearch.search.builder.SearchSourceBuilder; public class EsDeduplication { public static long getDeduplicatedCount(RestHighLevelClient client, String index, String field) throws IOException { SearchRequest searchRequest = new SearchRequest(index); SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder(); searchSourceBuilder.query(QueryBuilders.matchAllQuery()); CardinalityAggregationBuilder aggregationBuilder = AggregationBuilders.cardinality("deduplicated_count").field(field); searchSourceBuilder.aggregation(aggregationBuilder); searchRequest.source(searchSourceBuilder); SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); Cardinality cardinality = searchResponse.getAggregations().get("deduplicated_count"); return cardinality.getValue(); } } ``` 在这个代码,我们创建了一个名为`getDeduplicatedCount`的方法,该方法接受ES客户端、索引名和要去重的字段名作为参数。该方法首先创建一个`SearchRequest`对象,并使用`SearchSourceBuilder`对象构建了一个查询。查询使用`matchAllQuery`来匹配所有文档,并使用`CardinalityAggregationBuilder`聚合函数来对指定字段进行去重统计。聚合结果的`deduplicated_count`桶包含去重后的数量,并通过`getValue`方法获取该值。 在代码,我们使用了ES的Java客户端库,因此需要将该库添加到项目的依赖。您可以根据您的ES版本和其他要求选择正确的版本。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xcl119xxcl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值