VersionedCollapsingMergeTree原理与实践

1.VersionedCollapsingMergeTree

算法：

当ClickHouse合并数据片段时，它会删除满足如下条件的行：排序键相同，version相同，Sign不同。行的顺序无关紧要。
当CLickHouse插入数据时，它按排序键对数据进行排序：如果Version列不在排序键中，则ClickHouse会将其隐式地作为最后一个字段添加到排序键中，并将其用于排序。
 

2.案例

示例数据：

┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │         5 │      146 │    1 │       1 |
│ 4324182021466249494 │         5 │      146 │   -1 │       1 |
│ 4324182021466249494 │         6 │      185 │    1 │       2 |
└─────────────────────┴───────────┴──────────┴──────┴─────────┘

建表：

DROP TABLE IF EXISTS UAct;
CREATE TABLE UAct
(
    UserID UInt64,
    PageViews UInt8,
    Duration UInt8,
    Sign Int8,
    Version UInt8
)
ENGINE = VersionedCollapsingMergeTree(Sign, Version)
ORDER BY UserID;

插入数据：

INSERT INTO UAct VALUES (4324182021466249494, 5, 146, 1, 1);
INSERT INTO UAct VALUES (4324182021466249494, 5, 146, -1, 1),(4324182021466249494, 6, 185, 1, 2);

上面执行了两个INSERT语句，创建了两个不同的数据片段。如果使用一个INSERT语句，ClickHouse将创建一个数据片段，并且将永远不会执行任何合并。

查询数据：

xxxx2 :) select * from UAct;

SELECT *
FROM UAct

┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │         5 │      146 │   -1 │       1 │
│ 4324182021466249494 │         6 │      185 │    1 │       2 │
└─────────────────────┴───────────┴──────────┴──────┴─────────┘
┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │         5 │      146 │    1 │       1 │
└─────────────────────┴───────────┴──────────┴──────┴─────────┘

3 rows in set. Elapsed: 0.009 sec. 

xxxx2 :)

通过两个INSERT语句，创建了两个数据片段。SELECT查询是在两个线程中执行的，我们得到了随机顺序的行。由于尚未合并数据片段，折叠还未发生。我们无法预测ClickHouse在何时执行数据片段的合并。因此，我们需要使用聚合：

SELECT
    UserID,
    sum(PageViews * Sign) AS PageViews,
    sum(Duration * Sign) AS Duration,
    Version
FROM UAct
GROUP BY UserID, Version
HAVING sum(Sign) > 0;

结果如下：

┌──────────────UserID─┬─PageViews─┬─Duration─┬─Version─┐
│ 4324182021466249494 │         6 │      185 │       2 │
└─────────────────────┴───────────┴──────────┴─────────┘

如果不适用聚合，可以对FROM子句使用FINAL修饰符进行强制合并：

xxxx2 :) select * from UAct FINAL;

SELECT *
FROM UAct
FINAL

┌──────────────UserID─┬─PageViews─┬─Duration─┬─Sign─┬─Version─┐
│ 4324182021466249494 │         6 │      185 │    1 │       2 │
└─────────────────────┴───────────┴──────────┴──────┴─────────┘

1 rows in set. Elapsed: 0.011 sec. 

xxxx2 :)

要注意的是使用FINAL的这种数据查询的方法非常低效，不要在大表中使用这种方法。