clickhouse扩缩容

一、背景

我们之前已经学会了搭建clickhouse集群，我们搭建的是一套单分片两副本的集群，接下来我们来测试下clickhouse的扩缩容情况

二、扩容

扩容相对来说比较简单，我们原来的架构如下

host	shard	replica
192.169.1.1	1	1
192.169.1.2	1	2

现在我们要在这个基础上在加个shard,那么该怎么弄呢，其实很简单，准备一台机器192.168.1.3，然后将配置与之前的配置改成一致，这是基础配置，接下来是改动的部分

192.168.1.1和192.168.1.2,192.168.1.3的配置文件改动相同部分如下

文件原来的配置

<remote_servers>
        <cluster_2S_1R>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.2</host>
                    <port>9000</port>
                </replica>
            </shard>
        </cluster_2S_1R>
    </remote_servers>

改动后的配置

<remote_servers>
        <cluster_2S_1R>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.1</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>192.168.1.2</host>
                    <port>9000</port>
                </replica>
            </shard>
             <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>192.168.1.3</host>
                    <port>9000</port>
                </replica>
            </shard>
        </cluster_2S_1R>
    </remote_servers>

192.168.1.3的单独改动的配置,macros配置如下

    <macros>
        <shard>02</shard>
        <replica>192.168.1.3</replica>
    </macros>

接下来就可以查看集群信息了，发现我们新增的分片已经出现在上面了

select * from system.clusters;

扩容后的架构

host	shard	replica
192.169.1.1	1	1
192.169.1.2	1	2
192.169.1.3	2	1

# MergeTree的复制引擎是ReplicatedMergeTree，所以这里并不会复制数据
CREATE DATABASE db1 ON CLUSTER cluster_2S_1R;

CREATE TABLE db1.table1 ON CLUSTER cluster_2S_1R
(
    `id` UInt64,
    `column1` String
)
ENGINE = MergeTree
ORDER BY id;
# 分片1插入
INSERT INTO db1.table1 (id, column1) VALUES (1, 'abc');
# 分片2插入
INSERT INTO db1.table1 (id, column1) VALUES (2, 'def');
# 在不同节点查询可以看到不同节点的数据不一致
SELECT * FROM db1.table1;

# 创建设置分片键的表
CREATE TABLE db1.table1_dist ON CLUSTER cluster_2S_1R
(
    `id` UInt64,
    `column1` String
)
ENGINE = Distributed('cluster_2S_1R', 'db1', 'table1', rand())

# 查看表
SELECT * FROM db1.table1_dist;

三、缩容

缩容与扩容的操作反向即可，但是这里要注意，clickhouse并不具备自动调动分片的能力，所以需要手动复制分片的数据导入到还存活的分片，不然数据会丢失