09_ClickHouse,ReplacingMergeTree,案例,根据排序键去重,使用版本参数的去重(学习笔记)

最新推荐文章于 2024-07-21 21:59:49 发布
最新推荐文章于 2024-07-21 21:59:49 发布
阅读量6.6k 收藏 7
点赞数 3
分类专栏： # ClickHouse
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tototuzuoquan/article/details/110913968
版权

7.ReplacingMergeTree
7.1.ReplacingMergeTree
7.2.案例
7.2.1.示例1：根据排序键去重
7.2.2.示例2：使用版本参数的去重

7.ReplacingMergeTree

7.1.ReplacingMergeTree

  1. 删除具有相同排序键值的重复项。
  2. 数据去重是在合并期间进行的。
  3. 后台的合并操作在未知的时间触发，因此用户无法对合并进行计划。
  4. 可使用OPTIMIZE语句运行计划外的合并，但OPTIMIZE是一个很重的操作。
  5. ReplacingMergeTree适合清除后台的重复数据以节省空间。

指定表引擎：
ENGINE = ReplacingMergeTree([ver])
参数：ver，版本列。版本列的类型为UInt*、Date或DateTime。可选参数。

合并的时候，ReplacingTree从所有相同主键的行中选择一行留下：如果ver未指定，选择最后一条。如果指定了ver列，选择ver值最大的版本。

7.2.案例

7.2.1.示例1：根据排序键去重

建表:

DROP TABLE replacingMergeTreeDemo;
CREATE TABLE replacingMergeTreeDemo
(
    UserID UInt32,
    CounterID UInt32,
    UserName String,
    EventDate Date
) ENGINE = ReplacingMergeTree()
ORDER BY (UserID, CounterID)
PRIMARY KEY (UserID);

执行效果：

xxxxx :) CREATE TABLE replacingMergeTreeDemo
:-] (
:-]     UserID UInt32,
:-]     CounterID UInt32,
:-]     UserName String,
:-]     EventDate Date
:-] ) ENGINE = ReplacingMergeTree()
:-] ORDER BY (UserID, CounterID)
:-] PRIMARY KEY (UserID);

CREATE TABLE replacingMergeTreeDemo
(
    `UserID` UInt32,
    `CounterID` UInt32,
    `UserName` String,
    `EventDate` Date
)
ENGINE = ReplacingMergeTree()
PRIMARY KEY UserID
ORDER BY (UserID, CounterID)

Ok.

0 rows in set. Elapsed: 0.055 sec. 

xxxxx :)

2 插入数据
分三批次插入数据，为了观察效果，下面的三段脚本依次按顺序分别执行，不要一起执行：
批次1：

insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-21');
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-22');
insert into replacingMergeTreeDemo values(3,102,'xiaohe3','2020-04-23');

插入后的效果为：

xxxxx :) select * from replacingMergeTreeDemo;

SELECT *
FROM replacingMergeTreeDemo

┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      3 │       102 │ xiaohe3  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘
┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      2 │       100 │ xiaohe2  │ 2020-04-22 │
└────────┴───────────┴──────────┴────────────┘
┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-04-21 │
└────────┴───────────┴──────────┴────────────┘

3 rows in set. Elapsed: 0.009 sec. 

xxxxx :)

批次2：

insert into replacingMergeTreeDemo values(3,103,'xiaohe3','2020-04-23');
insert into replacingMergeTreeDemo values(2,101,'xiaohe2','2020-04-24');
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-20');

插入后的效果为：

xxxxx :) select * from replacingMergeTreeDemo;

SELECT *
FROM replacingMergeTreeDemo

┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-04-20 │
└────────┴───────────┴──────────┴────────────┘
┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-04-21 │
│      2 │       100 │ xiaohe2  │ 2020-04-22 │
│      2 │       101 │ xiaohe2  │ 2020-04-24 │
│      3 │       102 │ xiaohe3  │ 2020-04-23 │
│      3 │       103 │ xiaohe3  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘

批次3：

insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-23');

插入后的效果：

xxxxx :) select * from replacingMergeTreeDemo;

SELECT *
FROM replacingMergeTreeDemo

┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      2 │       100 │ xiaohe2  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘
┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-04-20 │
└────────┴───────────┴──────────┴────────────┘
┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-04-21 │
│      2 │       100 │ xiaohe2  │ 2020-04-22 │
│      2 │       101 │ xiaohe2  │ 2020-04-24 │
│      3 │       102 │ xiaohe3  │ 2020-04-23 │
│      3 │       103 │ xiaohe3  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘

7 rows in set. Elapsed: 0.007 sec. 

xxxxx :)

如上所示，它并没有合并数据，这时候需要手工执行计划外合并。

这时候就要手工执行计划外合并：
执行命令：optimize table replacingMergeTreeDemo

xxxxx :) optimize table replacingMergeTreeDemo;

OPTIMIZE TABLE replacingMergeTreeDemo

Ok.

0 rows in set. Elapsed: 0.003 sec. 

xxxxx :) select * from replacingMergeTreeDemo;

SELECT *
FROM replacingMergeTreeDemo

┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-04-20 │
│      2 │       100 │ xiaohe2  │ 2020-04-23 │
│      2 │       101 │ xiaohe2  │ 2020-04-24 │
│      3 │       102 │ xiaohe3  │ 2020-04-23 │
│      3 │       103 │ xiaohe3  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘

5 rows in set. Elapsed: 0.006 sec. 

xxxxx :)

从这个示例可以发现，ReplacingMergeTree是根据排序项对数据去重的，而不是根据主键。

7.2.2.示例2：使用版本参数的去重

在示例1中， 我们简单观察可以发现， 去重后，保留的记录是最后一条记录。
如果指定了版本，则保留版本列的值最大的记录。
1.建表
使用EventDate列作为版本字段。

DROP TABLE replacingMergeTreeDemo;
CREATE TABLE replacingMergeTreeDemo
(
    UserID UInt32,
    CounterID UInt32,
    UserName String,
    EventDate Date
) ENGINE = ReplacingMergeTree(EventDate)
ORDER BY (UserID, CounterID)
PRIMARY KEY (UserID);

2.插入数据
批次1：

insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-06-21');
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-11-27');
insert into replacingMergeTreeDemo values(3,102,'xiaohe3','2020-04-23');

批次2：

insert into replacingMergeTreeDemo values(3,103,'xiaohe3','2020-04-23');
insert into replacingMergeTreeDemo values(2,101,'xiaohe2','2020-04-24');
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-20');

批次3：

insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-23');

查看数据：

xxxxx :) select * from replacingMergeTreeDemo;

SELECT *
FROM replacingMergeTreeDemo

┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      2 │       100 │ xiaohe2  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘
┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-04-20 │
└────────┴───────────┴──────────┴────────────┘
┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-06-21 │
│      2 │       100 │ xiaohe2  │ 2020-11-27 │
│      2 │       101 │ xiaohe2  │ 2020-04-24 │
│      3 │       102 │ xiaohe3  │ 2020-04-23 │
│      3 │       103 │ xiaohe3  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘

7 rows in set. Elapsed: 0.009 sec. 

xxxxx :) optimize table replacingMergeTreeDemo;

OPTIMIZE TABLE replacingMergeTreeDemo

Ok.

0 rows in set. Elapsed: 0.002 sec. 

xxxxx :) select * from replacingMergeTreeDemo;

SELECT *
FROM replacingMergeTreeDemo

┌─UserID─┬─CounterID─┬─UserName─┬──EventDate─┐
│      1 │       100 │ xiaohe1  │ 2020-06-21 │
│      2 │       100 │ xiaohe2  │ 2020-11-27 │
│      2 │       101 │ xiaohe2  │ 2020-04-24 │
│      3 │       102 │ xiaohe3  │ 2020-04-23 │
│      3 │       103 │ xiaohe3  │ 2020-04-23 │
└────────┴───────────┴──────────┴────────────┘

5 rows in set. Elapsed: 0.005 sec. 

xxxxx :)

经过上面案例，可以看出，最终保留了如下数据：

│      2 │       100 │ xiaohe2  │ 2020-11-27 │

从这个示例可以发现， ReplacingMergeTree根据排序项对数据去重的， 保留版本字段列对应的最大值的记录。

涂作权的博客
关注
专栏目录
【clickhouse】clickhouse表引擎之ReplacingMergeTree
九师兄
02-02 1806
1.概述 这个引擎是在MergeTree 的基础上，添加了“处理重复数据”的功能，该引擎和MergeTree的不 同之处在于它会删除具有相同(区内)主键的重复项。数据的去重只会在合并的过程中出现。合并会在未 知的时间在后台进行，所以你无法预先作出计划。有一些数据可能仍未被处理。因此， ReplacingMergeTree适用于在后命清除重复的数据以节省空间，但是它不保证没有重复的数据出现。 ENGINE = ReplacingMerge Tree(ver) 不适用数据版本的情况 这样只能保留最新的数据.
大数据ClickHouse（九）：MergeTree系列表引擎之ReplacingMergeTree
Lansonli（蓝深李）的博客
08-09 1379
以上MergeTree不能对相同主键的数据进行去重，ClickHouse提供了ReplacingMergeTree引擎，可以针对同分区内相同主键的数据进行去重，它能够在。值得注意的是，ReplacingMergeTree只是在一定程度上解决了数据重复问题，由于自动分区合并机制在后台定时执行，所以ReplacingMergeTree 适用于在后台清除重复的数据以节省空间。.........
【Clickhouse】ReplaceingMergeTree引擎final实现合并去重探索 | 京东云技术团队
JDDTechTalk的博客
06-08 1614
为了保证统计数据的准确性，比如订单金额，一个常用的方法是在查询时增加final关键字。那final关键字是如何合并数据的，以及合并的数据范围是怎样的，本文就对此做一个简单的探索
详解ClickHouse的ReplaceMergeTree
qq_38608642的博客
11-27 1692
数据去重发生在后台合并数据时，后台合并数据是随机的，所以有时会有一些没处理的数据，可以通过OPTIMIZI来手动合并，官方建议不要指望它，因为OPTIMIZE会读写大量的数据（可能是会从头再合并一的原因吧）所以，ReplacingMergeTre适用于后台去重数据来节省空间的场景，但不保证没有一个重复的（官方说的，不是我说的）ver设置后才能设置is_deleted，用来标记这行数据是否删除，1代表删除（deleted），0代表存在（state）选最大的那个，ver设置时，选择设置值中最大的那一行。
Clickhouse重复数据处理
最新发布
十八闲客的博客,专注于大数据运维
07-21 443
Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布订阅的消息队列系统。名词解释：Producer=生产者Queue=队列Consumer=消费者。
ReplacingMergeTree
weixin_43597208的博客
04-07 458
ReplacingMergeTree 是 MergeTree 的一个变种，它存储特性完全继承 MergeTree，只是多了一个去重的功能。如果表经过了分区，去重只会在分区内部进行去重，不能执行跨分区的去重。所以 ReplacingMergeTree 能力有限， ReplacingMergeTree 适用于在后台清除重复的数据以节省空间，但是它不保证没有重复的数据出现。ReplacingMergeTree() 填入的参数为版本字段，重复数据保留版本字段值最大的。◼ 认定重复的数据保留，版本字段值最大的。
ClickHouse引擎之ReplacingMergeTree
m0_46937429的博客
04-14 2208
使用ORDER BY排序键，作为判断数据是否重复的唯一键只有在合并分区时，才会触发数据的去重逻辑删除重复数据，是以数据分区为单位。同一个数据分区的重复数据才会被删除，不同数据分区的重复数据仍会保留在进行数据去重时，由于已经基于ORDER BY排序，所以可以找到相邻的重复数据数据去重策略为：若指定了ver参数，则会保留重复数据中，ver字段最大的那一行若未指定ver参数，则会保留重复数据中最末的那一行数据。
客快物流大数据项目（九十三）：ClickHouse的ReplacingMergeTree深入了解 ClickHouse清除重复数据...
okbin1991的博客
03-29 697
​ClickHouse的ReplacingMergeTree深入了解 为了解决MergeTree相同主键无法去重的问题，ClickHouse提供了ReplacingMergeTree引擎，用来对主键重复的数据进行去重。 删除重复数据可以使用optimize命令手动执行，这个合并操作是在后台运行的，且无法预测具体的执行时间。 在使用optimize命令执行合并时，如果表数据量过大，会导致耗时很长，...
clickhouse基础
weixin_46376562的博客
08-02 593
clickhouse基础 clickhouse 服务管理 启动 clickhouse 服务 systemctl start ckickhouse-server 停止 clickhouse 服务 systemctl stop ckickhouse-server 客户端连接 clickhouse-client -m # -m 表示可以多行输入 数据类型 整型 有符号整型 类型 范围 Int8 [ -128 : 127 ] Int16 [ -32768 : 32767 ] Int32
python学习笔记(08)-案例实操：列表去重
01-21
# 使用列表推导式来创建一个包含重复元素的列表 src_list = [random.randint(20,30) for i in range(15)] print(src_list) # 用新列表搜集：只搜集不重复的元素 target_list = [] # 空列表 # 遍历源列表中
SQL学习笔记五去重，给新加字段赋值的方法
12-15
总结来说，本篇笔记主要介绍了如何使用SQL进行数据去重和字段操作。去重通过`DISTINCT`关键字实现，而新增字段和赋值则利用`ALTER TABLE`和`UPDATE`语句完成。这些基本操作对于理解和维护数据库系统是至关重要的，...
ClickHouse入门学习笔记
11-12
综上所述，学习ClickHouse涉及其基本概念、数据类型、存储结构、SQL语法、副本和集群管理、查询优化等多个方面，为大数据分析提供了强大且高效的解决方案。掌握这些知识点将有助于构建和优化ClickHouse系统，实现...
ClickHouse实战--使用ReplacingMergeTree来更新数据
zg_hover的专栏
05-03 4869
本文通过一些例子介绍了如何使用ReplacingMergeTree引擎。在使用ReplacingMergeTree要注意：（1）只有相同分区的数据行才会被合并，所以，必须要注意让需要合并的数据落到相同分区中。（2）若是分布式表，还需要注意要让需要合并的数据落到相同的节点上。（3）不能频繁使用optimize操作；（4）ReplacingMergeTree有一定的适用场景，不是所有的场景，需要根据业务需要进行选择。
clickhouse引擎--ReplacingMergeTree引擎
小兔子乖乖
09-06 403
ReplacingMergeTree引擎ReplacingMergeTree引擎无参数版本有参数版本 ReplacingMergeTree引擎 这个引擎是在MergeTree的基础上，添加了==“处理重复数据”==的功能，该引擎和MergeTree的不同之处在于它会删除具有相同（区内排序一样的重复项，数据的去重只会在合并的过程中出现。合并会在未知的时间在后台进行，所以无法预先做出计划，有一些数据可能仍未被处理，因此，ReplacingMergeTree适用于在后台清理重复的数据以节省空间，但它不保证没有重复
ClickHouse存储引擎之ReplacingMergeTree引擎
热门推荐
lichunliang的博客
08-03 2万+
同时发布于个人博客https://schnappi618.github.io/中～ 一、ReplacingMergeTree作用 ​ ClickHouse中最常用也是最基础的表引擎为MergeTree，在它的功能基础上添加特定功能就构成了MergeTree系列引擎。MergeTree支持主键，但主键主要用来缩小查询范围，且不具备唯一性约束，可以正常写入相同主键的数据。但在一些情况下，可能需要表中没有主键重复的数据。ReplacingMergeTree就是在MergeTree的基础上加入了去重的功能，但它.
clickhouseMergeTree系列引擎之ReplacingMergeTree
lyq7269的博客
03-24 1557
ReplacingMergeTree的作用 删除据有相同排序键值的重复项。 数据去重是在合并期间进行的 后台的合并操作在未知的时间出发，因此用户无法对合并进行计划。 可使用OPTIMEZE语句运行计划外的合并，但OPTIMIZE是一个很重要的操作。 ReplacingMergeTree适合清除后台的重复数据以节省空间。 指定表引擎： ENGINE - ReplaceMergeTree[ver] 参数：ver，版本列。版本列的类型为UInt*、Date或DateTime。可选参数。 合并的时候，Repla
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涂作权的博客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值