副本
副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/
副本写入流程

配置步骤
(1)启动 zookeeper 集群
(2)在 Bigdata04 的/etc/clickhouse-server/config.d 目录下创建一个名为 metrika.xml的配置文件,内容如下:
注:也可以不创建外部文件,直接在 config.xml 中指定< zookeeper >
<?xml version="1.0"?>
<yandex>
<zookeeper-servers>
<node index="1">
<host>Bigdata04</host>
<port>2181</port>
</node>
<node index="2">
<host>Bigdata05</host>
<port>2181</port>
</node>
<node index="3">
<host>Bigdata06</host>
<port>2181</port>
</node>
</zookeeper-servers>
</yandex>
(3)在 Bigdata04 的/etc/clickhouse-server/config.xml 中增加
<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>
(4)同步到 Bigdata05 和 Bigdata06 上
分别在 Bigdata04 和 Bigdata05 上启动 ClickHouse 服务
注意:因为修改了配置文件,如果以前启动了服务需要重启
[root@Bigdata04 ~]$ sudo clickhouse restart
注意:我们演示副本操作只需要在 hadoop102 和 hadoop103 两台服务器即可,上面的操作,我们 hadoop104 可以你不用同步,我们这里为了保证集群中资源的一致性,做了同步。
(5)在 Bigdata04 和 Bigdata05 上分别建表
副本只能同步数据,不能同步表结构,所以我们需要在每台机器上自己手动建表
①Bigdata04
create table t_order_rep2 (
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_102')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);
②Bigdata05
create table t_order_rep2 (
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep','rep_103')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);
③参数解释
ReplicatedMergeTree 中,
第一个参数是分片的 zk_path 一般按照:/clickhouse/table/{shard}/{table_name} 的格式写,如果只有一个分片就写 01 即可。
第二个参数是副本名称,相同的分片副本名称不能相同。
(6)在 Bigdata04上执行 insert 语句
insert into t_order_rep2 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00');

(7)在 Bigdata05 上执行 select,可以查询出结果,说明副本配置正确


4138

被折叠的 条评论
为什么被折叠?



