ClickHouse节点扩容、往集群中添加节点

最新推荐文章于 2024-07-19 10:40:01 发布

PiscesCanon

最新推荐文章于 2024-07-19 10:40:01 发布

阅读量18

点赞数

文章标签： clickhouse sql java 数据库开发语言

本文链接：https://blog.csdn.net/u014346634/article/details/140018813

版权

ClickHouse节点扩容、往集群中添加节点

背景

最近公司ck数据量增长太快，几个T的硬盘快不够了，继续扩容。

扩容有三种方案：

1.增加ck目前数据盘的大小，由于是服务器本地硬盘而且无法对/扩容因此此种方式不考虑。

2.多路径策略：通过添加新盘符达到扩容目的，但是只对新表有用，旧表的storage_policy属性无法修改为新的磁盘策略(可对旧表分区移动数据)

3.增加节点：通过将新数据以ck分片的方式分散到新的节点达到扩容目的

综合现状，详细测试第三种方式。

测试基本背景/步骤

扩容过程中，会影响Distributed表的读写，但是不会影响local表。

1.目前2个节点的ck集群架构

2.增加多1个节点ck服务器，基本的配置和设置保持和已有的节点一致(特别注意老旧节点的/etc/hosts配置)

3.修改集群配置信息，添加新分片给新节点(有副本相对应修改)，并且配置新分片的权重高于原来分片，注意每个节点macros标签的子标签值

4.新节点对需要的表做Distributed表和local的创建(即将要修改的集群配置所涉及的Distributed表和local表)

环境构造

集群zkm(目前包含两个节点)配置如下：

##关键信息
        <zkm>
            <shard>
                <internal_replication>true</internal_replication>
                <weight>1</weight>
                <!-- 分片1，副本1 -->
                <replica>
                    <host>dev-app76</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>default</password>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <weight>1</weight>
                <!-- 分片2，副本1 -->
                <replica>
                    <host>dev-app77</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>default</password>
                </replica>
            </shard>
        </zkm>

CK01 :) select * from system.clusters where cluster='zkm';

SELECT *
FROM system.clusters
WHERE cluster = 'zkm'

Query id: 779eecd3-d4e5-474f-93e9-1d350e9e6fb7

┌─cluster─┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ zkm     │         1 │            1 │           1 │ dev-app76 │ 192.168.1.171 │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ zkm     │         2 │            1 │           1 │ dev-app77 │ 192.168.1.172 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
└─────────┴───────────┴──────────────┴─────────────┴───────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘

2 rows in set. Elapsed: 0.003 sec.

1,2节点均创建测试表

CK02 :) CREATE TABLE default.zkm on cluster zkm
        (
            `id` String DEFAULT 'NULL' COMMENT '用户编号',
            `repo` String DEFAULT 'NULL' COMMENT '仓库编号'
        )
        ENGINE = Distributed('zkm', 'default', 'zkm_local', rand());

Query id: fb7ad2c2-16b4-4c23-9cfe-b774ba9ba0dc

┌─host──────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ dev-app76 │ 9000 │      0 │       │                   1 │                0 │
│ dev-app77 │ 9000 │      0 │       │                   0 │                0 │
└───────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘

2 rows in set. Elapsed: 0.118 sec. 

CK02 :) CREATE TABLE default.zkm_local on cluster zkm
        (
            `id` String DEFAULT 'NULL' COMMENT '用户编号',
            `repo` String DEFAULT 'NULL' COMMENT '仓库编号'
        )
        ENGINE = ReplicatedMergeTree('/clickhouse/tables/zkm-{shard}/default/zkm_local', '{replica}')
        ORDER BY id
        SETTINGS index_granularity = 8192;

Query id: 844c5f32-91d4-4935-9a41-d424e5c70ae2

┌─host──────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ dev-app76 │ 9000 │      0 │       │                   1 │                0 │
│ dev-app77 │ 9000 │      0 │       │                   0 │                0 │
└───────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘

2 rows in set. Elapsed: 0.135 sec.

增加数据(略)

insert into zkm values('a','b');
insert into zkm select * from zkm settings insert_deduplicate=0; --这条多次执行

数据情况如下：

CK01 :) SELECT
            host AS `主机名`,
            sum(rows) AS `总行数`,
            formatReadableSize(sum(data_uncompressed_bytes)) AS `原始大小`,
            formatReadableSize(sum(data_compressed_bytes)) AS `压缩大小`,
            round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS `压缩率`
        FROM `gv$zkm`
        WHERE (database = 'default') AND (table = 'zkm_local') AND (active = 1) AND (engine = 'ReplicatedMergeTree')
        GROUP BY host
        ORDER BY host ASC;

Query id: 938115af-473a-491f-997a-753deb3c5be9

┌─主机名────┬─总行数─┬─原始大小─┬─压缩大小──┬─压缩率─┐
│ dev-app76 │ 524181 │ 2.00 MiB │ 12.62 KiB │      1 │
│ dev-app77 │ 524395 │ 2.00 MiB │ 12.63 KiB │      1 │
└───────────┴────────┴──────────┴───────────┴────────┘

2 rows in set. Elapsed: 0.016 sec.

新增节点3

安装ck数据库软件，配置OS，配合参数等。

修改集群

1,2节点添加新分片信息，新节点3添加集群。

注意每个节点macros标签的子标签值

新分片信息：

            <shard>
                <internal_replication>true</internal_replication>
                <weight>98</weight>
                <!-- 分片3，副本1 -->
                <replica>
                    <host>dev-app78</host>
                    <port>9000</port>
                    <user>default</user>
                    <password>default</password>
                </replica>
            </shard>

权重98，前边两分片权重均为1，表示约98%数据往新节点分配。

新集群信息：

CK01 :) select * from system.clusters where cluster='zkm';

SELECT *
FROM system.clusters
WHERE cluster = 'zkm'

Query id: b7683054-eea3-4404-b4c8-d022aa201a64

┌─cluster─┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ zkm     │         1 │            1 │           1 │ dev-app76 │ 192.168.1.171 │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ zkm     │         2 │            1 │           1 │ dev-app77 │ 192.168.1.172 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ zkm     │         3 │           99 │           1 │ dev-app78 │ 192.168.1.173 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
└─────────┴───────────┴──────────────┴─────────────┴───────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘

3 rows in set. Elapsed: 0.007 sec.

3节点创建表

dev-app78 :) CREATE TABLE default.zkm
             (
                 `id` String DEFAULT 'NULL' COMMENT '用户编号',
                 `repo` String DEFAULT 'NULL' COMMENT '仓库编号'
             )
             ENGINE = Distributed('zkm', 'default', 'zkm_local', rand());

Query id: 4d1d55a1-0737-432d-aa37-75cf8a677d77

Ok.

0 rows in set. Elapsed: 0.006 sec. 

dev-app78 :) CREATE TABLE default.zkm_local
             (
                 `id` String DEFAULT 'NULL' COMMENT '用户编号',
                 `repo` String DEFAULT 'NULL' COMMENT '仓库编号'
             )
             ENGINE = ReplicatedMergeTree('/clickhouse/tables/zkm-{shard}/default/zkm_local', '{replica}')
             ORDER BY id
             SETTINGS index_granularity = 8192;

Query id: 3dc94a9e-080a-4d9a-8988-12337a669ca6

Ok.

0 rows in set. Elapsed: 0.060 sec.

插入数据后，以及数据情况：

CK01 :) insert into zkm select * from zkm settings insert_deduplicate=0;

Query id: 439f23c8-19bb-4819-8738-9d9f08733a79

Ok.

0 rows in set. Elapsed: 0.267 sec. Processed 1.05 million rows, 20.97 MB (3.93 million rows/s., 78.61 MB/s.)

CK01 :) SELECT
            host AS `主机名`,
            sum(rows) AS `总行数`,
            formatReadableSize(sum(data_uncompressed_bytes)) AS `原始大小`,
            formatReadableSize(sum(data_compressed_bytes)) AS `压缩大小`,
            round((sum(data_compressed_bytes) / sum(data_uncompressed_bytes)) * 100, 0) AS `压缩率`
        FROM `gv$zkm`
        WHERE (database = 'default') AND (table = 'zkm_local') AND (active = 1) AND (engine = 'ReplicatedMergeTree')
        GROUP BY host
        ORDER BY host ASC;

Query id: 7752274a-2285-44fa-8292-4bd718ae53f9

┌─主机名────┬──总行数─┬─原始大小─┬─压缩大小──┬─压缩率─┐
│ dev-app76 │  534511 │ 2.04 MiB │ 12.85 KiB │      1 │
│ dev-app77 │  534742 │ 2.04 MiB │ 12.86 KiB │      1 │
│ dev-app78 │ 1027899 │ 3.92 MiB │ 18.00 KiB │      0 │
└───────────┴─────────┴──────────┴───────────┴────────┘

3 rows in set. Elapsed: 0.025 sec.

至此。

PiscesCanon

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
ClickHouse节点扩容、往集群中添加节点

ClickHouse节点扩容、往集群中添加节点背景最近公司ck数据量增长太快，几个T的硬盘快不够了，继续扩容。扩容有三种方案： 1.增加ck目前数据盘的大小，由于是服务器本地硬盘而且无法对/扩容因此此种方式不考虑。 2.多路径策略：通过添加新盘符达到扩容目的，但是只对新表有用，旧表的storage_policy属性无法修改为新的磁盘策略(可对旧表分区移动数据...
复制链接

扫一扫