【Clickhouse】Clickhouse 精确去重计数性能测试

最新推荐文章于 2024-06-04 09:35:19 发布
最新推荐文章于 2024-06-04 09:35:19 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： clickhouse 文章标签： clickhouse 大数据 hive
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125285246
版权
clickhouse 专栏收录该内容
139 篇文章 633 订阅 ¥19.90 ¥99.00
订阅专栏

在这里插入图片描述

1.概述

4亿多的数据集上，去重计算出6千万整形数值，
非精确去重函数： uniq、 uniqHLL12、 uniqCombined
精确去重函数： uniqExact、 groupBitmap

在这里插入图片描述

在这里插入图片描述
结论：

  • 整形值精确去重场景， groupBitmap 比 uniqExact至少快 2x+
  • groupBitmap仅支持整形值去重， uniqExact支持任意类型去重。
  • 非精确去重场景， uniq在精准度上有优势。

案例如下

在这里插入图片描述
在这里插入图片描述

2.Bitmap位存储和位计算

每个bit位表示一个数字

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
ClickHouse 实时数据去重final+group by
qbm123456789的博客
11-25 1万+
实时数据使用final 最为保险。 实时数据求和用final + group by 最为保险 一、实时数据获取最新订单状态并去重 1. 使用final （推荐） 去重并取最新的数据 select order_number --订单号 ,id --产品ID ,cnt--产品数量 ,price--产品当时价格 from a final where no='1234567' 2. 使用group by --数量共4 产品65 2个 产品66 2个 select order_number --订单号
Redis精确去重计数方法（咆哮位图）
12-16
Redis中的精确去重计数方法主要涉及到数据结构的巧妙运用，特别是位图和咆哮位图（Roaring Bitmap）。在处理大数据量的去重计数时，传统的集合（Set）和HyperLogLog（HLL）数据结构都有其局限性。Set在存储大量用户...
【总结卡】clickhouse数据库常用高级函数
积跬步，慕至千里的博客
11-07 1283
clickhouse常用高级函数总结
clickhouse去重复数据解决方案
最新发布
WYT11的博客
06-04 475
因为我们的maxwell对接rabbitmq rabbitmq监听的是mysql的belog日志文件，所以mysql数据的实时操作都会同步数据到maxwell中从而导致新增插入一条，修改插入一条，删除插入一条，导致同一条数据有大量的重复数据。
clickhouse数据去重函数介绍（count distinct）
元星的博客，一起努力呀
04-22 772
2.groupBitmap仅支持无符号整形值去重， uniqExact支持任意类型去重。1.整形值精确去重场景，groupBitmap 比 uniqExact至少快 2x+非精确去重函数：uniq、uniqHLL12、uniqCombined。精确去重函数：uniqExact、groupBitmap。3.非精确去重场景，uniq在速度上有优势。测试数据量：2000w。
ClickHouse单表数据重复如何去重
weixin_44830864的博客
02-01 1437
一般生产环境的表都会有更新字段，数据更新的话，如何去掉老数据可以参考我的另一篇。这里准备了两个测试表，表一为原表，表二为重复表。一.数据表数据一致且翻倍。
ClickHouse在苏宁用户画像场景的实践.pdf
04-01
精确去重计数性能测试：本文档还对ClickHouse的精确去重计数性能进行了测试，测试结果表明ClickHouse的groupBitmap函数可以实现快速的精确去重计数，并且具有高效的性能。 ClickHouse在苏宁使用场景：ClickHouse在...
ClickHouse文档.docx
05-08
一、clickhouse简介 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的用于在线分析处理查询（OLAP :Online ...对于列的聚合、计数、求和等统计操作优于行式存储 由于某一列的数据类型都是相同的，针对于数据存储更容易
Jmeter性能测试进阶课件
10-31
【JMeter性能测试进阶课件】主要涵盖了如何利用JMeter这款开源的负载测试工具进行Web应用程序的性能和功能测试。JMeter具有丰富的组件，包括测试计划、线程组、取样器、断言和监听器，可用于模拟多用户并发访问，...
使用Clickhouse去重
qq_35163570的博客
06-25 5721
使用场景：通常为计算 uv 一、准备测试数据表 createtabletest_distinct ( id UInt32 ) ENGINE = Memory; insertintotest_distinctvalues (1),(1),(1),(2)(2),(2),(2),(2),(3),(4),(4),(4),(5),(6),(7),(8),(7),(6),(8),(8); 二、根据ID进行去重 在My...
clickhouse 去重方式
tanruixing的博客
08-30 2428
clickhouse去重
ClickHouse Bitmap用户画像存储方案性能测试
b379685397的博客
11-15 3500
一、环境准备 机器性配置： 4H8G JDK 1.8 二、测试流程： 1、制造测试数据 造了350个用户标签，用户userId约25亿，从以下几个角度验证计算性能 ┌─ln───────────────────┬─lv───────────┬───────uv─┐ │ 测试 │ 测试1 │ 0 │ │ 手机型号 │ vivo │ 95 │ │ 手机型号 │ 华为...
雨流计数法 clickhouse
damenggege123的专栏
09-06 394
clickhouse优势 1，速度快 2，函数多功能强大 3，支持sql使用方便 下面通过雨流计数思想用sql统计信号值波动次数 计算加速踏板使用次数 with acc_ped as sig ,neighbor(sig,-1) as psig ,sig-psig as dsig ,neighbor(dsig,1) as dnsig ,if(dsig>0 and dnsig<0 ,sig,null) as msig select count(msig) from veh_data t.
clickhouse之bitmap
普普通通程序猿的博客
08-29 6337
1. bitmap知多少 2. clickhouse中的bitmap函数 3. clickhouse+bitmap的使用场景
通过深挖Clickhouse源码，数据去重精通~
03-02 3625
在sql中大数据领域是如何去重的，Clickhouse给你答案
clickhouse重复数据处理
winsanity的博客
10-27 6434
clickhouse重复数据处理 1.重复数据产生原因 正常我们使用MergeTree引擎创建表，虽然MergeTree拥有主键，但是它的主键没有唯一键的约束，这就意味着即便多行数据的主键相同，它们还是能够被正常写入。这里如果需要去重，可以使用 ReplacingMergeTree，它能够在合并分区时删除重复的数据，但是只能对同一分区的数据去重，且去重依据是order by排序键。 2.使用ReplacingMergeTree引擎创建表 create table replace_test( id Stri
Clickhouse数据实时去重
weixin_45626756的博客
06-24 7610
ck中去重主要是借助ReplacingMeregeTree引擎，它能够在合并part的时候将主键(既排序键)相同的记录只保留一条，但是使用的过程中存在两个问题： 数据是在分区part合并的时候去重的，所以要实现全局去重，必须保证主键相同的记录在一个节点同一个分区上。 ReplacingMergeTree引擎的merge是后台线程不定期触发执行的，时机是不可控的，所以并不能保证多久后不会出现重复数据，正对实时实时性高的用户不瞒住需求。 目前三种解决方案 方案一：ReplacingMergeTree+定时脚
苏宁用户画像：ClickHouse的高速去重与实践
本文档深入探讨了ClickHouse在苏宁用户画像场景中的实际应用和实践，由苏宁科技集团大...同时，文档中展示的精确去重性能测试也揭示了ClickHouse在处理大量重复数据时的专业性能，为精准决策提供了强有力的数据支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值