elasticsearch去重计数（distinct、cardinality）

最新推荐文章于 2024-08-18 03:06:45 发布
最新推荐文章于 2024-08-18 03:06:45 发布
阅读量2.3w 收藏 2
点赞数
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxf_123456/article/details/77225627
版权
本文介绍了如何在Elasticsearch中利用Cardinality聚合查询来统计索引中某个字段的不同值数量。通过示例查询展示了针对'domain.keyword'字段进行去重计数的方法，并给出了响应结果，结果显示该字段有121618个独特的domain名称。此外，还提供了一个针对'oltopvarname.keyword'字段进行相同操作的例子，得出存在495个不同的'oltopvarname'值。
摘要由CSDN通过智能技术生成

如果需要针对ES索引统计某个字段上出现的不同值的个数时，可以使用cardinality聚合查询完成:

GET /urlAttributes/_search?search_type=count
{
  "aggs": {
    "uniq_attr": {
      "cardinality": {
        "field": "domain.keyword"
      }
    }
  }
}

最低0.47元/天 解锁文章
sxf_0123
关注
专栏目录
【Elasticsearch】es 查询 去重
九师兄
05-29 6951
1.概述 转载：Elasticsearch6.X 去重详解 1、题记 Elasticsearch有没有类似mysql的distinct的去重功能呢？ 1）如何去重计数？ 类似mysql: select distinct(count(1)) from my_table; 2）如何获取去重结果。 类似mysql：SELECT DISTINCT name,age FROM users; 2、需求 1）对ES的检索结果进行去重统计计数。 2）对ES的检索结果去重后显示 3、分析 1）统计计数需要借助ES聚合功能结.
初使用elasticsearch踩过的坑
shumoyin的博客
08-29 1705
使用框架：spring-data-elasticsearch cardinality去重 对于4w以上数据的去重无法达到100%准确度 // precisionThreshold 设置精确数量，越高内存消耗越大 AggregationBuilders.cardinality("distinct").field("hid").precisionThreshold(40000); ter...
elasticsearch去重计数（distinct）
jsky_studio的专栏
03-02 4万+
如果需要针对ES索引统计某个字段上出现的不同值的个数时，可以使用cardinality聚合查询完成： GET /urlAttributes/_search?search_type=count { "aggs": { "uniq_attr": { "cardinality": { "field": "domain" } } } }12
elasticsearch 去重计数
hhhzua的专栏
04-16 1428
去重计数不是精确计数，数据量大的情况下会有误差，官方文档说的是，默认的情况下百万级数据会有5%的误差，实测如下： 实际文档数：1924920 去重计数：1912715 误差率：（1924920 - 1912715）/ 1924920 = 0.006 %0.6的误差率还能接受，如果需要更高的准确度的话，需要调整precision_threshold的值，默认值是100，可选值在0~40000，值...
Java es怎么查询数据去重
最新发布
weixin_41537122的博客
08-18 101
我整理的一些关于【Java】的项目学习资料（附讲解～～）和大家一起分享、学习一下：https://d.51cto.com/bLN8S1Java ES 查询数据去重的方法 在日常的数据处理和查询操作中，重复的数据往往会造成查询结果的污染，影响数据的客观性和准确性。因此，在使用Java与Elasticsearch（简称ES）...
elasticsearch 条件去重_Elasticsearch6.X 去重详解
weixin_42252435的博客
12-23 667
1、题记Elasticsearch有没有类似mysql的distinct的去重功能呢？1)如何去重计数？类似mysql: select distinct(count(1)) from my_table;2)如何获取去重结果。类似mysql：SELECT DISTINCT name,age FROM users;2、需求1)对ES的检索结果进行去重统计计数。2)对ES的检索结果去重后显示。3、分析1...
ElasticSearch--去重查询/根据字段去重--方法/实例
IT利刃出鞘的博客
10-14 8213
原文网址： 简介 本文介绍如何根据某一个字段进行去重。包括：获取去重后的结果，统计去重后的数量。 在SQL中，我们可以用dinstinct语句进行去重，例如： 获取去重后的结果：SELECT DISTINCT name, sex FROM person; 统计去重后的数量：SELECT COUNT(DISTINCT name, sex) FROM person; Elasticsearch也可以做到获取去重后的结果，统计去重后的数量。 获...
ElasticSearch
会写Bug的攻城狮
02-11 7万+
ElasticSearch 一、字段的类型Field type的详解 下面就是所有的字段类型 字符串类型 text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_float 逻辑类型 boolean 日期类型 date 范围类型 range 二进制类型 binary 复合类型 数组类型 array 对象类型 object 嵌套类型 nested 地理类型 地理坐标类型 geo_point 地理地图 geo_s
ElastaticSearch 去重cardinality的使用。
chouen8010的博客
06-03 769
项目中，Elastatic search（下面简称ES）用于数据存储和分析。 项目中的存储的对象有包含关系。 A对象是B对象的集合，即一个A对象包含多个属于A对象的B对象。在前端展示的时候，需要分别对A和B级别进行查询汇总。设计的时候，考虑到尽可能的减少存储量又能满足各种查询条件，决定以B...
Java操作Elasticsearch6实现group by分组查询
Dream it Possible
11-18 7833
引言 通过上篇博客的总结，我们知道了在Elasticsearch6中count、distinct和count(distinct)方法的使用。本篇博客继续聚合查询的学习，也就是对应mysql中的group by的使用。 公共实体 对于下面要介绍的查询，返回结果为统一实体，代码如下： /** * 单个字段分组返回结果 * * @author : huzhiting * @date : 2020-11-18 15:02 */ @Data public class AggregationForOneDTO
elasticsearch根据时间段去重统计数据
fyttttttt的博客
06-02 268
elasticsearch根据时间段去重统计数据
Elasticsearch去重查询
热门推荐
jacklife的博客
11-21 8万+
1、前言 最近遇到一个es数据查询去重的需求，我这边需要的是获取去重后的结果，查询官网资料和各位大神的经验后，总结一下elasticsearch去重查询功能。 2、Elasticsearch去重功能 关系型数据库中，比如MySQL，可以通过distinct进行去重，一般分为两种： 1 ) 统计去重后的数量 select distinct(count(1)) from test; 2 )...
Elasticsearch统计去重后的数量
allway2的博客
10-20 3390
统计去重后的数量 Elasticsearch 提供的首个近似聚合是cardinality（注：基数）度量。 它提供一个字段的基数，即该字段的distinct或者unique值的数目。 你可能会对 SQL 形式比较熟悉： SELECT COUNT(DISTINCT color) FROM cars 去重是一个很常见的操作，可以回答很多基本的业务问题： 网站独立访客是多少？ 卖了多少种汽车？ 每月有多少独立用户购买了商品？ 我们可以用cardinality度量确定经销商销售汽车颜色...
ElasticSearch中"distinct","count"和"group by"的实现
weixin_30602505的博客
02-21 4311
最近在业务中需要使用ES来进行数据查询，在某些场景下需要对数据进行去重，以及去重后的统计。为了方便大家理解，特意从SQL角度，方便大家能够理解ES查询语句。 1 - distinct SELECT DISTINCT(user_id) FROM table WHERE user_id_type = 3; { "query": { "term": ...
elasticSearch实现mysql中的distinct功能
mengo的博客
10-31 1415
为了实现类似等价的sql： SELECT COUNT(DISTINCT deviceID) FROM t_order_report; 为什么我要说类似等价呢？ 因为从精确性、性能等角度还是存在很大的差别！ 前置条件，场景为： 用户可以通过时间、套餐类型、订单状态等等查询条件，过滤出满足条件的设备数信息 因此使用deviceID+各种限制条件 作为Key存储...
Elasticsearch 类似 Mysql distinct 功能实现
天空之城
07-10 4291
实现方式 使用聚合方式实现 按 floor distinct，并取出 num 最大的一条记录 { "size": 0, "aggregations": { "field1": { "terms": { "field": "floor", "size": 20 }, "aggs": { "num_to...
elasticsearch去重
09-06
在Elasticsearch中进行去重操作可以通过使用聚合（Aggregation）功能来实现。下面是一个简单的例子，演示如何在一个字段上进行去重： ```json GET your_index/_search { "size": 0, "aggs": { "deduplicate": { ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值