Elasticsearch(es)多种方式查询索引是否存在重复数据

最新推荐文章于 2024-06-17 16:55:24 发布

码农_菜猪

最新推荐文章于 2024-06-17 16:55:24 发布

阅读量4.7k

点赞数 2

文章标签： elasticsearch

本文链接：https://blog.csdn.net/weixin_38023814/article/details/124474649

版权

1.获取重复数据

GET test.project/_search
{
    "size":0,
    "aggs":{
        "field":{
            "terms":{
                "field":"id.keyword",
                "size":3000,
                "min_doc_count":1
            }
        }
    }
}

2. 统计去重数目

GET test.project/_search
{
  "size": 0, 
  "aggs": {
    "count": {
      "cardinality": {
        "field": "id.keyword"
      }
    }
  }
}

3. 返回去重内容

3.1 aggs的方式

GET test.project/_search
{
    "query":{
        "match_all":{

        }
    },
    "aggs":{
        "type":{
            "terms":{
                "field":"id.keyword",
                "size":10
            },
            "aggs":{
                "id_top":{
                    "top_hits":{
                        "_source":{
                            "includes":"name"
                        },
                        "sort":[
                            {
                                "create_date.keyword":{
                                    "order":"desc"
                                }
                            }
                        ],
                        "size":1
                    }
                }
            }
        }
    },
    "size":0
}

3.2 折叠方式

GET test.project/_search
{
    "query":{
        "match_all":{

        }
    },
    "collapse":{
        "field":"id.keyword"
    },
    "_source":{
        "includes":"name"
    }
}