Elasticsearch-ES查询单字段去重

最新推荐文章于 2024-06-28 23:33:28 发布
最新推荐文章于 2024-06-28 23:33:28 发布
阅读量794 收藏 11
点赞数 5
分类专栏： # Elasticsearch 文章标签： elasticsearch 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41694906/article/details/139746856
版权

ES 语句

整体数据

GET wkl_test/_search
{
  "query": {
    "match_all": {}
  }
}

结果：

{
  "took" : 123,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "aK0tFpABTkLj5j4c34pE",
        "_score" : 1.0,
        "_source" : {
          "name" : "zhangsan",
          "aa" : 1
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "aa0uFpABTkLj5j4cFYrJ",
        "_score" : 1.0,
        "_source" : {
          "name" : "lisi",
          "aa" : 2
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "aq0uFpABTkLj5j4cKYqF",
        "_score" : 1.0,
        "_source" : {
          "name" : "wangwu",
          "aa" : 2
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "a60uFpABTkLj5j4c2IoF",
        "_score" : 1.0,
        "_source" : {
          "name" : "maliu",
          "aa" : 2
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "bK1IFpABTkLj5j4cqYop",
        "_score" : 1.0,
        "_source" : {
          "name" : "gouqi",
          "aa" : 3
        }
      }
    ]
  }
}

1：collapse折叠功能- 查询去重后的数据列表(ES5.3之后支持)

  • 推荐原因：性能高，占内存小
  • 注意：使用此方式去重时，不会去除掉不存在去重字段的数据。
  • 去重字段只能是数字long类型或keyword。
  • Field Collapsing（字段折叠）不能与scroll、rescore以及search after 结合使用。
GET wkl_test/_search
{
  "query": {
    "match_all": {}
  },
  "collapse": {
    "field": "aa"
  }
}

结果：hits 中total虽然=5，但是只返回了去重后的 3 条数据

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "aK0tFpABTkLj5j4c34pE",
        "_score" : 1.0,
        "_source" : {
          "name" : "zhangsan",
          "aa" : 1
        },
        "fields" : {
          "aa" : [
            1
          ]
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "aa0uFpABTkLj5j4cFYrJ",
        "_score" : 1.0,
        "_source" : {
          "name" : "lisi",
          "aa" : 2
        },
        "fields" : {
          "aa" : [
            2
          ]
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "bK1IFpABTkLj5j4cqYop",
        "_score" : 1.0,
        "_source" : {
          "name" : "gouqi",
          "aa" : 3
        },
        "fields" : {
          "aa" : [
            3
          ]
        }
      }
    ]
  }
}

2：cardinality - 查询去重后的数据总数

  • 聚合+cardinality：即去重计算，类似sql中 count（distinct），先去重再求和
  • 注意：使用此方式统计去重后的数量时，会去除掉不存在去重字段的数据。
GET wkl_test/_search
{
  "query": {
    "match_all": {}
  },
  "size": 0, 
  "aggs": {
    "distinct_count": {
      "cardinality": {
        "field": "aa"
      }
    }
  }
}

结果：distinct_count = 3,说明去重后有3个，既aggregations聚合下，返回了按名字查询去重后的结果数，但是只有去重后的条数，没有具体的数据。

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "distinct_count" : {
      "value" : 3
    }
  }
}

3：整体语句

  • 使用collapse 折叠查询后，虽然返回了去重后的数据，但是total 还是所有的数据量
  • 使用 cardinality 聚合 ，虽然在aggs 聚合结果中返回了正确的数据量，但是hits中还是全部的数据
  • 所以我们需要 两个综合使用，如下：
GET wkl_test/_search
{
  "query": {
    "match_all": {}
  },
  "collapse": {
    "field": "aa"
  }, 
  "aggs": {
    "distinct_count": {
      "cardinality": {
        "field": "aa"
      }
    }
  }
}

结果：

{
  "took" : 3,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "aK0tFpABTkLj5j4c34pE",
        "_score" : 1.0,
        "_source" : {
          "name" : "zhangsan",
          "aa" : 1
        },
        "fields" : {
          "aa" : [
            1
          ]
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "aa0uFpABTkLj5j4cFYrJ",
        "_score" : 1.0,
        "_source" : {
          "name" : "lisi",
          "aa" : 2
        },
        "fields" : {
          "aa" : [
            2
          ]
        }
      },
      {
        "_index" : "wkl_test",
        "_type" : "_doc",
        "_id" : "bK1IFpABTkLj5j4cqYop",
        "_score" : 1.0,
        "_source" : {
          "name" : "gouqi",
          "aa" : 3
        },
        "fields" : {
          "aa" : [
            3
          ]
        }
      }
    ]
  },
  "aggregations" : {
    "distinct_count" : {
      "value" : 3
    }
  }
}

注：我们使用cardinality聚合后的distinct_count 作为去重后的总数，用 collapse 折叠后的列表作为数据结果集

分页使用解释说明：

  • 1.hits中total的总条数实际上是去重前的总条数，原数据条数，这里我们知道就行，分页中我们并不使用它。hits中数组的大小刚好等于courseAgg聚合的值，数组中的数据就是去重后的数据。

  • 2.aggregations中的courseAgg条数，这个才是去重后的实际条数，也是分页用的总条数。

  • 3.from 查询的偏移量，也就是从哪里开始查。

  • 4.size 查询条数，一次查几条。

  • 接下来，你就可以把它当做一个简单分页查询来用了，传入from和size就ok啦~

JAVA API使用

1：collapse 查询去重的结果集

// 使用collapse来指定去重的字段，例如"your_distinct_field"
            CollapseBuilder collapseBuilder = new CollapseBuilder("your_distinct_field");
            searchSourceBuilder.collapse(collapseBuilder);

2：cardinality - 查询去重后的数据总数

		// 添加一个cardinality聚合来计算去重字段的唯一值数量
         CardinalityAggregationBuilder aggregation = AggregationBuilders
                 .cardinality("distinct_count")//这里是聚合结果的字段名
                 .field("your_distinct_field")//这里是需要聚合的字段
                 .precisionThreshold(40000); // 根据需要调整精度阈值
         searchSourceBuilder.aggregation(aggregation);

3：整体使用

package com.wenge.system.utils;

import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.SearchHits;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.metrics.CardinalityAggregationBuilder;
import org.elasticsearch.search.aggregations.metrics.ParsedCardinality;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.collapse.CollapseBuilder;

import java.io.IOException;
import java.util.Map;

/**
 * @author wangkanglu
 * @version 1.0
 * @description
 * @date 2024-06-17 16:48
 */
public class TestES {

    public static void main(String[] args) throws IOException {
        //创建ES客户端
        RestHighLevelClient esClient = new RestHighLevelClient(
                RestClient.builder(new HttpHost("localhost",9200,"http"))
        );

        try {
            // 创建一个搜索请求并设置索引名
            SearchRequest searchRequest = new SearchRequest("your_index");

            // 构建搜索源构建器
            SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

            // 设置查询条件，例如匹配所有文档，这里根据业务自己修改
            searchSourceBuilder.query(QueryBuilders.matchAllQuery());

            // 使用collapse来指定去重的字段，例如"your_distinct_field"
            CollapseBuilder collapseBuilder = new CollapseBuilder("your_distinct_field");
            searchSourceBuilder.collapse(collapseBuilder);

            // 添加一个cardinality聚合来计算去重字段的唯一值数量
            CardinalityAggregationBuilder aggregation = AggregationBuilders
                    .cardinality("distinct_count")//这里是聚合结果的字段名
                    .field("your_distinct_field")//这里是需要聚合的字段
                    .precisionThreshold(40000); // 根据需要调整精度阈值
            searchSourceBuilder.aggregation(aggregation);

            // 设置搜索源
            searchRequest.source(searchSourceBuilder);

            // 执行搜索
            SearchResponse searchResponse = esClient.search(searchRequest, RequestOptions.DEFAULT);

            SearchHit[] hits = searchResponse.getHits().getHits();
            for (SearchHit hit : hits) {
                Map<String, Object> sourceAsMap = hit.getSourceAsMap();
                System.out.println("去重结果: " + sourceAsMap);
            }

            // 处理搜索结果，获取去重数量
            ParsedCardinality parsedCardinality = searchResponse.getAggregations().get("distinct_count");
            long distinctCount = parsedCardinality.getValue();
            System.out.println("去重结果数量:" + distinctCount);

        } finally {
            // 关闭client
            esClient.close();
        }
    }
}
苍煜
关注
  • 5
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
es查询，聚合、平均值、值范围、cardinality去重查询
sxf_123456的博客
10-10 1万+
GET ana-apk/_search { "query": { "match_all": {} } } GET ana-apk/_search #查询不重复的mac地址 { "size": 10, "aggs": { "MAC": { "cardinality": { "field": "MAC"
es-demo:elasticsearch相关用例
05-08
"es-demo"展示了如何使用Elasticsearch进行查询和分析： 1. **基本查询**: 使用Elasticsearch的Query DSL（Domain Specific Language）进行布尔、匹配、范围等多种查询。 2. **聚合分析**: 利用Aggregations进行...
elasticsearch去重：collapse、cardinality、terms+top_hits实现总结
最新发布
码到三十五
06-28 1万+
灵活性：字段聚合+top_hits提供了更多的自定义选项，可以按多个字段进行分组，并控制返回的文档数量和排序。而collapse则更简单直接，只基于一个字段进行分组。性能：对于大数据集，collapse可能更高效，因为它避免了复杂的聚合计算。然而，实际性能还取决于具体的使用场景和数据分布。结果丰富性：字段聚合+top_hits可以返回更丰富的信息，包括分组大小和多个代表文档。而collapse只返回每个分组的最佳文档。在选择使用哪种方法时，应根据具体需求、数据量和性能要求来权衡。
ElasticSearch--去重查询/根据字段去重--方法/实例
IT利刃出鞘的博客
10-14 7706
原文网址： 简介 本文介绍如何根据某一个字段进行去重。包括：获取去重后的结果，统计去重后的数量。 在SQL中，我们可以用dinstinct语句进行去重，例如： 获取去重后的结果：SELECT DISTINCT name, sex FROM person; 统计去重后的数量：SELECT COUNT(DISTINCT name, sex) FROM person; Elasticsearch也可以做到获取去重后的结果，统计去重后的数量。 获...
Elasticsearch去重查询
热门推荐
jacklife的博客
11-21 8万+
1、前言 最近遇到一个es数据查询去重的需求，我这边需要的是获取去重后的结果，查询官网资料和各位大神的经验后，总结一下elasticsearch去重查询功能。 2、Elasticsearch去重功能 关系型数据库中，比如MySQL，可以通过distinct进行去重，一般分为两种： 1 ) 统计去重后的数量 select distinct(count(1)) from test; 2 )...
ES去重查询
柳牧之的博客
07-11 3671
ES去重查询查询语句 查询语句 { "collapse": { "field": "过滤的字段" }, "query": { "bool": { } } } 我想 查询es的某索引下某个字段有多少种类值，比如我想知道用户表里面一共有多少个不同的名字，也就是查询名字时候将重复的名字去掉，使用上面的语句可以实现。 ...
ElasticSearch单字段查询去重详解
IT之一小佬的博客
01-01 7404
ElasticSearch单字段查询去重详解
【elasticsearch】ES去重查询实现
qq_31286957的博客
10-30 8190
2）cardinality基数计算去重后数量 （采用hyperloglog实现，hyperloglog一种近似计算）会有误差，去重实现原理： 采用es 的Collapse折叠+cardinality基数计算 实现去重。1）Collapse折叠只支持一个字段去重,且字段必须是 keyword。3） 不支持search_after 和 scroll，有深度分页问题。1、优点：简单快速效率高，几乎无性能损耗（相比于分桶去重）将多个字段组合成 一个字段然后去重。多个字段组合成一个字段有3种方案。
Elasticsearch 28道面试题和答案.docx
06-14
5. **大数据量聚合**：对于上亿量级的聚合，Elasticsearch 提供了 cardinality 聚合，基于 HyperLogLog (HLL) 算法，能高效计算字段的唯一值。通过调整精度参数控制内存使用，适用于大数据量的去重需求。 6. **主分...
Elasticsearch集成Hadoop最佳实践
02-03
**Elasticsearch 集成 Hadoop 最佳实践** 在大数据处理领域，Elasticsearch 和 Hadoop 是两个不可或缺的重要组件。Elasticsearch 是一个实时、分布式、搜索和分析引擎，而 Hadoop 是一个用于大规模数据处理的开源...
完美解决distinct中使用多个字段的方法
04-03
完美解决distinct中使用多个字段的方法，完美解决distinct中使用多个字段的方法完美解决distinct中使用多个字段的方法完美解决distinct中使用多个字段的方法完美解决distinct中使用多个字段的方法
数据接入ElasticSearch方式培训PPT
05-01
数据接入ElasticSearch是现代大数据处理中的重要环节，它涉及到如何高效、稳定地将各种类型的数据导入到Elasticsearch这个强大的全文搜索引擎中。Elasticsearch因其高性能、分布式、可扩展性和实时性，常被用于日志...
es去重查询
weixin_38617363的博客
01-08 6264
{     "query": {                 "bool": {                     "must": [                         {                             "exists": {                                 "field": "vir_name"      
es查询单字段去重
J_bean的博客
01-16 1865
es查询单字段去重
【Elasticsearch】es 查询 去重
web15285868498的博客
04-12 1068
1.概述 转载：Elasticsearch6.X 去重详解 1、题记 Elasticsearch有没有类似mysql的distinct的去重功能呢？ 1）如何去重计数？ 类似mysql: select distinct(count(1)) from my_table; 2）如何获取去重结果。 类似mysql：SELECT DISTINCT name,age FROM users; 2、需求 1）对ES的检索结果进行去重统计计数。 2）对ES的检索结果去重后显示 3、分析 1）统计计数需要借助ES聚合功能结.
ElasticSearch多字段查询去重过滤详解
IT之一小佬的博客
01-01 7256
ElasticSearch多字段查询去重过滤详解
Elasticsearch 根据 instid字段去重查询
07-22
要根据`instid`字段去重查询Elasticsearch，你可以使用`terms`聚合来实现。以下是一个示例的查询语句： ```json GET your_index/_search { "size": 0, "aggs": { "deduplicate": { "terms": { "field": "instid", "size": 10000 // 设置一个较大的size值以确保返回所有分组结果 }, "aggs": { "top_hits": { "size": 1 // 获取每个分组中的第一条文档 } } } } } ``` 替换`your_index`为你的索引名。这个查询将根据`instid`字段进行聚合，并返回根据该字段去重后的文档。请注意，你可能需要根据实际情况调整`size`参数的值，以确保能够获取到所有分组结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

苍煜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值