ClickHouse-副本

最新推荐文章于 2024-09-21 10:31:58 发布

嘣嘣嚓

最新推荐文章于 2024-09-21 10:31:58 发布

阅读量275

点赞数

文章标签： mariadb eureka zookeeper linux 分布式

本文链接：https://blog.csdn.net/qq_38304392/article/details/125301705

版权

本文详细介绍了在ClickHouse中设置副本以实现数据高可用性的步骤，包括Zookeeper集群的启动、配置文件的编辑与同步、表的创建以及数据插入和验证。通过配置ReplicatedMergeTree引擎，确保即使单个节点故障，数据也能从其他节点获取。

摘要由CSDN通过智能技术生成

副本的目的主要是保障数据的高可用性，即使一台 ClickHouse 节点宕机，那么也可以从其他服务器获得相同的数据。

1.副本写入流程

2.配置步骤

(1)启动 zookeeper 集群(Node1-3)

配置zookeeper环境

(2)clickhouse准备两个节点

Node1, Node2

在 Node1 的/etc/clickhouse-server/config.d 目录下创建一个名为 metrika.xml

的配置文件,内容如下：

注：也可以不创建外部文件，直接在 config.xml 中指定<zookeeper>

vim /etc/clickhouse-server/config.d/metrika.xml
<?xml version="1.0"?>
<yandex>
    <zookeeper-servers>
        <node index="1">
            <host>node2</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>xxx</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>xxx</host>
            <port>2181</port>
        </node>
        </zookeeper-servers>
</yandex>

host自己更新

(3)同步到Node2

scp /etc/clickhouse-server/config.d/metrika.xml root@Node2:/etc/clickhouse-server/config.d/

(4)在 Node1 的/etc/clickhouse-server/config.xml 中增加

<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from>

(5)同步到 Node2

scp /etc/clickhouse-server/config.xml  root@Node2:/etc/clickhouse-server/

重启clickhouse服务

sudo clickhouse restart

(6)在 Node1 和 Node2 上分别建表

副本只能同步数据，不能同步表结构，所以我们需要在每台机器上自己手动建表

Node1:

create table t_order_rep7 (
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep7','rep_fz_102')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

Node2:

create table t_order_rep7 (
id UInt32,
sku_id String,
total_amount Decimal(16,2),
create_time Datetime
) engine =ReplicatedMergeTree('/clickhouse/table/01/t_order_rep7','rep_fz_103')
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

参数解释：

ReplicatedMergeTree 中，

第一个参数是分片的 zk_path 一般按照：/clickhouse/table/{shard}/{table_name} 的格式写，如果只有一个分片就写 01 即可。

第二个参数是副本名称，相同的分片副本名称不能相同。

(7)在 Node1 上执行 insert 语句

insert into t_order_rep7 values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 12:00:00'),
(103,'sku_004',2500.00,'2020-06-01 12:00:00'),
(104,'sku_002',2000.00,'2020-06-01 12:00:00'),
(105,'sku_003',600.00,'2020-06-02 12:00:00');