clickhouseMergeTree系列引擎之ReplacingMergeTree

最新推荐文章于 2024-07-21 21:59:49 发布

Smile to everyday

最新推荐文章于 2024-07-21 21:59:49 发布

阅读量1.5k

点赞数

分类专栏： clickhouse 文章标签：数据库大数据

本文链接：https://blog.csdn.net/lyq7269/article/details/115166036

版权

clickhouse 专栏收录该内容

17 篇文章 2 订阅

订阅专栏

本文详细介绍了ClickHouse中的ReplacingMergeTree表引擎，其主要功能是在合并过程中删除具有相同排序键的重复数据，从而节省存储空间。通过两个示例展示了如何在不指定和指定版本列的情况下进行数据去重，并通过手动优化操作来实现即时的数据清理。此外，还探讨了如何利用OPTIMIZE语句进行计划外的合并操作。

摘要由CSDN通过智能技术生成

ReplacingMergeTree的作用

删除据有相同排序键值的重复项。
数据去重是在合并期间进行的
后台的合并操作在未知的时间出发，因此用户无法对合并进行计划。
可使用OPTIMEZE语句运行计划外的合并，但OPTIMIZE是一个很重要的操作。
ReplacingMergeTree适合清除后台的重复数据以节省空间。

指定表引擎：

ENGINE - ReplaceMergeTree[ver]
参数：ver，版本列。版本列的类型为UInt*、Date或DateTime。可选参数。
合并的时候，ReplacingTree从所有相同主键的行中选择一行留下：如果ver未指定，选择最后一条。如果制定了ver列，选择ver值最大的版本。

示例1：根据排序键去重

数据准备

建表

DROP TABLE replacingMergeTreeDemo;
CREATE TABLE replacingMergeTreeDemo
(
    UserID UInt32,
    CounterID UInt32,
    UserName String,
    EventDate Date
) ENGINE = ReplacingMergeTree()
ORDER BY (UserID, CounterID)
PRIMARY KEY (UserID);

插入数据

分三批次插入数据，为了观察效果，下面的三段脚本依次按顺序分别执行，不要一起执行

#批次1：
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-21');
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-22');
insert into replacingMergeTreeDemo values(3,102,'xiaohe3','2020-04-23');
#批次2：
insert into replacingMergeTreeDemo values(3,103,'xiaohe3','2020-04-23');
insert into replacingMergeTreeDemo values(2,101,'xiaohe2','2020-04-24');
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-20');
#批次3：
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-23');

查看数据

select * from replacingMergeTreeDemo;
在这里插入图片描述

因不定时合并未达到效果执行手动计划外合并

optimize table replacingMergeTreeDemo;
在这里插入图片描述

再次查看数据

在这里插入图片描述

示例2：使用版本参数的去重

数据准备

建表

DROP TABLE replacingMergeTreeDemo;
CREATE TABLE replacingMergeTreeDemo
(
    UserID UInt32,
    CounterID UInt32,
    UserName String,
    EventDate Date
) ENGINE = ReplacingMergeTree(EventDate)
ORDER BY (UserID, CounterID)
PRIMARY KEY (UserID);

插入数据

分三批次插入数据，为了观察效果，下面的三段脚本依次按顺序分别执行，不要一起执行

#批次1：
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-21');
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-22');
insert into replacingMergeTreeDemo values(3,102,'xiaohe3','2020-04-23');
#批次2：
insert into replacingMergeTreeDemo values(3,103,'xiaohe3','2020-04-23');
insert into replacingMergeTreeDemo values(2,101,'xiaohe2','2020-04-24');
insert into replacingMergeTreeDemo values(1,100,'xiaohe1','2020-04-20');
#批次3：
insert into replacingMergeTreeDemo values(2,100,'xiaohe2','2020-04-23');