Clickhouse数据复制的原理与实践

作者：俊达

说明

在clickhouse中，如果我们想实现数据多副本存储，以提高数据可用率和查询性能，可以使用复制表。支持数据复制的表引擎包括：

• ReplicatedMergeTree

• ReplicatedSummingMergeTree

• ReplicatedReplacingMergeTree

• ReplicatedAggregatingMergeTree

• ReplicatedCollapsingMergeTree

• ReplicatedVersionedCollapsingMergeTree

• ReplicatedGraphiteMergeTree

使用复制表的前置条件是clickhouse配置了zookeeper。需要在配置文件中配置，如：

<zookeeper>
    <node>
        <host>example1</host>
        <port>2181</port>
    </node>
    <node>
        <host>example2</host>
        <port>2181</port>
    </node>
    <node>
        <host>example3</host>
        <port>2181</port>
    </node>
</zookeeper>

在clickhouse中，以表为单位进行复制。不同的表可以配置不同的复制策略。

需要注意的是，clickhouse不会复制CREATE, DROP, ATTACH, DETACH和RENAME这些操作。

而通过alter table给表增加字段的操作会进行复制。

创建复制表

建表语法：

CREATE TABLE table_name ( ... ) 
ENGINE = ReplicatedMergeTree('path_in_zookeeper', 'replica_name') 
...

创建复制表需要指定两个关键参数：

• path_in_zookeeper: zookeeper中的路径，同一个表的多个副本，该参数必须一样。

• replica_name: 多个副本需要配置不同的replica_name。

一般在建表时，我们会使用{shard}， {replica}等宏变量：

create table rep_table(id int, val String)
engine ReplicatedMergeTree(
    '/clickhouse/tables/{shard_id}/rep/rep_table', 
    '{replica}'
) order by id;

上面例子中，{shard_id}, {replica}都是在macros中定义的宏，我们以在系统表system.macros中查看当前实例的宏定义。

## 节点ck01
ck01 :) select * from system.macros;

SELECT *
FROM system.macros

Query id: a85a2f99-e2dd-4ba4-9b5e-519e7b5c9f40

┌─macro────┬─substitution───┐
│ cluster  │ cluster-zero   │
│ replica  │ 172.16.121.248 │
│ shard_id │ 01             │
└──────────┴────────────────┘

4 rows in set. Elapsed: 0.001 sec.


## 节点ck02
ck02 :) select * from system.macros;

SELECT *
FROM system.macros

Query id: a11a1a07-0757-414a-954a-dd716d0cda3d

┌─macro────┬─substitution──┐
│ cluster  │ cluster-zero  │
│ replica  │ 172.16.121.48 │
│ shard_id │ 01            │
└──────────┴───────────────┘

4 rows in set. Elapsed: 0.002 sec.

有几点需要注