Clickhouse缩容方案概览

最新推荐文章于 2022-08-03 10:19:40 发布
最新推荐文章于 2022-08-03 10:19:40 发布
阅读量1.2k 收藏 3
点赞数 1
分类专栏： Clickhouse 文章标签： 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37692493/article/details/113975249
版权

文章目录

一、缩容

1.1 下线副本

对于多副本的集群，由于副本中包含着完全相同的数据，主副本与副本是完全对等的，即使将主副本下线后，ZK也会重新选举其他副本作为新的主副本。

1、下线副本大致步骤

  • 修改集群相关节点的配置文件，将需要下线的副本在集群定义中去掉
  • 重启集群相关所有节点，并关闭需要下线节点

2、案例测试

1）缩容前环境信息

sdw1、sdw2为一个shard下的两个replica，sdw1为replica1、sdw2为replica2。目前我们需要把sdw2去掉，使得其变为1个节点。

-- 集群配置信息
<clickhouse_remote_servers>
    <!-- Test only shard config for testing distributed storage -->
    <shard1_repl1>
        <shard>
            <!-- Optional. Shard weight when writing data. Default: 1. -->
            <weight>1</weight>
            <!-- Optional. Whether to write data to just one of the replicas. Default: false (write data to all replicas). -->
            <internal_replication>true</internal_replication>
            <replica>
                <host>sdw1</host>
                <port>9000</port>
            </replica>
            <replica>
                <host>sdw2</host>
                <port>9000</port>
            </replica>
        </shard>
    </shard1_repl1>
</clickhouse_remote_servers>


sdw1 :) select * from system.clusters;

SELECT *
FROM system.clusters

┌─cluster──────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─estimated_recovery_time─┐
│ shard1_repl1 │         1 │            1 │           1 │ sdw1      │ 172.16.104.12 │ 9000 │        1 │ default │                  │            0 │                       0 │
│ shard1_repl1 │         1 │            1 │           2 │ sdw2      │ 172.16.104.13 │ 9000 │        0 │ default │                  │            0 │                       0 │
└──────────────┴───────────┴──────────────┴─────────────┴───────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────────────┘

2 rows in set. Elapsed: 0.006 sec.

2）修改sdw1、sdw2的配置文件

<clickhouse_remote_servers>
    <!-- Test only shard config for testing distributed storage -->
    <shard1_repl1>
        <shard>
            <!-- Optional. Shard weight when writing data. Default: 1. -->
            <weight>1</weight>
            <!-- Optional. Whether to write data to just one of the replicas. Default: false (write data to all replicas). -->
            <internal_replication>true</internal_replication>
            <replica>
                <host>sdw1</host>
                <port>9000</port>
            </replica>
<!--        # 把sdw2的replica的信息注释掉
            <replica>
                <host>sdw2</host>
                <port>9000</port>
            </replica>
-->
        </shard>
    </shard1_repl1>
</clickhouse_remote_servers>

3）重启sdw1服务，关闭sdw2服务，检查集群配置

-- sdw1 重启ck服务
# systemctl restart clickhouse-server
-- sdw2 关闭ck服务
# systemctl stop clickhouse-server

-- 检查当前ck集群信息
sdw1 :) select * from system.clusters;

SELECT *
FROM system.clusters

┌─cluster──────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─estimated_recovery_time─┐
│ shard1_repl1 │         1 │            1 │           1 │ sdw1      │ 172.16.104.12 │ 9000 │        1 │ default │                  │            0 │                       0 │
└──────────────┴───────────┴──────────────┴─────────────┴───────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────────────┘

1 rows in set. Elapsed: 0.007 sec.

4）检查数据

sdw1 :) show tables;

SHOW TABLES

┌─name───┐
│ t1     │
│ t3     │
│ t3_all │
│ t4     │
│ t5     │
│ t6     │
│ t7     │
│ t8     │
└────────┘

8 rows in set. Elapsed: 0.006 sec.

sdw1 :) select * from t8 order by id;

SELECT *
FROM t8
ORDER BY id ASC

┌─id─┬─name─┬─create_date─┐
│  4 │ ww   │  2020-01-02 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│  6 │ dsk  │  2020-07-20 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│ 12 │ aw   │  2021-01-02 │
│ 17 │ bb   │  2021-01-02 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│ 19 │ bw   │  2021-02-18 │
│ 21 │ cc   │  2020-01-08 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│ 32 │ ww   │  2020-02-02 │
└────┴──────┴─────────────┘

7 rows in set. Elapsed: 0.009 sec.

1.2 下线分片

由于不同的分片中包含了不同的数据，所以需要对指定分片下线时，需要提前将该分片的数据迁移至其他节点，然后进行下线操作。

1、下线分片大致步骤

  • 将需要下线的分片节点中的本地数据进行备份（备份的四种方式，可参考文章：《Clickhouse备份恢复方式概览》）
  • 修改集群相关节点的配置文件，去掉需要下线的分片节点数据
  • 重启集群相关节点，关闭需要下线节点
  • 将备份数据在仍保留的分片节点进行数据恢复，若恢复表为分布式表，需要恢复至本地表中

2、案例测试

集群为mdw、sdw3两个分片节点，无副本。测试需要将sdw3的分片节点进行下线，并将所有数据迁移至mdw节点。

1）缩容前环境信息

<clickhouse_remote_servers>
    <!-- Test only shard config for testing distributed storage -->
    <shard2_repl0>
	<shard>
	    <replica>
		<host>mdw</host>
		<port>9000</port>
	    </replica>
	</shard>
	<shard>
	    <replica>
		<host>sdw3</host>
		<port>9000</port>
	    </replica>
	</shard>
    </shard2_repl0>
</clickhouse_remote_servers>

mdw :) select * from system.clusters;

SELECT *
FROM system.clusters

┌─cluster──────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─estimated_recovery_time─┐
│ shard2_repl0 │         1 │            1 │           1 │ mdw       │ 172.16.104.11 │ 9000 │        1 │ default │                  │            0 │                       0 │
│ shard2_repl0 │         2 │            1 │           1 │ sdw3      │ 172.16.104.14 │ 9000 │        0 │ default │                  │            1 │                       0 │
└──────────────┴───────────┴──────────────┴─────────────┴───────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────────────┘

2 rows in set. Elapsed: 0.007 sec.

-- 数据检查
mdw :) select * from t8 order by id;

SELECT *
FROM t8
ORDER BY id ASC

┌─id─┬─name─┬─create_date─┐
│  4 │ ww   │  2020-01-02 │
│  6 │ dsk  │  2020-07-20 │
│ 12 │ aw   │  2021-01-02 │
│ 17 │ bb   │  2021-01-02 │
│ 19 │ bw   │  2021-02-18 │
│ 21 │ cc   │  2020-01-08 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│ 32 │ ww   │  2020-02-02 │
└────┴──────┴─────────────┘

7 rows in set. Elapsed: 0.667 sec.

mdw :) select * from t8_local order by id;

SELECT *
FROM t8_local
ORDER BY id ASC

┌─id─┬─name─┬─create_date─┐
│  4 │ ww   │  2020-01-02 │
│ 19 │ bw   │  2021-02-18 │
│ 21 │ cc   │  2020-01-08 │
└────┴──────┴─────────────┘

3 rows in set. Elapsed: 0.008 sec.

mdw :) select * from t2 order by id;

SELECT *
FROM t2
ORDER BY id ASC

┌─id─┬─name─┐
│  1 │ aa   │
│  2 │ bb   │
│  3 │ cc   │
│  4 │ dd   │
│  5 │ ee   │
└────┴──────┘

5 rows in set. Elapsed: 0.016 sec.

mdw :) select * from t2_local order by id;

SELECT *
FROM t2_local
ORDER BY id ASC

┌─id─┬─name─┐
│  2 │ bb   │
│  5 │ ee   │
└────┴──────┘

2 rows in set. Elapsed: 0.005 sec.

2）备份

-- 对于分布式分区表，需要对将要下线的服务sdw3的本地表进行备份
sdw3 :) alter table db1.t8_local fetch partition 202002 from '/clickhouse/tables/02-03/t8_local';
sdw3 :) alter table db1.t8_local fetch partition 202007 from '/clickhouse/tables/02-03/t8_local';
sdw3 :) alter table db1.t8_local fetch partition 202101 from '/clickhouse/tables/02-03/t8_local';
-- 将sdw3的备份拷贝到mdw
# scp -r /data/clickhouse-server/data/data/db1/t8_local/detached/* root@mdw:/data/clickhouse-server/data/data/db1/t8_local/detached

-- 对于非分区表，通过客户端将sdw3数据进行导出备份
# clickhouse-client -h 172.16.104.14 --query="select * from db1.t2_local" > t2_local.tsv
# cat t2_local.tsv
1	aa
3	cc
4	dd
-- 将sdw3的备份拷贝到mdw
# scp -r ./t2_local.tsv root@mdw:/root

3）配置文件修改

<clickhouse_remote_servers>
    <!-- Test only shard config for testing distributed storage -->
    <shard2_repl0>
	<shard>
	    <replica>
		<host>mdw</host>
		<port>9000</port>
	    </replica>
	</shard>
<!--                            将需要下线的节点sdw3注释掉
	<shard>
	    <replica>
		<host>sdw3</host>
		<port>9000</port>
	    </replica>
	</shard>
-->
    </shard2_repl0>
</clickhouse_remote_servers>

4）重启mdw服务，关闭sdw3服务

-- 重启mdw服务
# systemctl restart clickhouse-server

-- 关闭sdw3服务
# systemctl stop clickhouse-server

5）将sdw3的数据备份进行数据恢复

-- 进入mdw服务中需要恢复的表分区下，检查目录/文件权限
# cd /data/clickhouse-server/data/data/db1/t8_local/detached
# chown -R clickhouse:clickhouse ./
# ll
总用量 0
drwxr-x--- 2 clickhouse clickhouse 279 2月  22 21:11 202002_0_0_0
drwxr-x--- 2 clickhouse clickhouse 279 2月  22 21:11 202007_0_0_0
drwxr-x--- 2 clickhouse clickhouse 279 2月  22 21:11 202101_0_0_0

-- 对于分布式分区表，将需要恢复的数据恢复至对应表的detached目录下，通过attach进行装载恢复
mdw :) alter table db1.t8_local attach partition 202002;
mdw :) alter table db1.t8_local attach partition 202007;
mdw :) alter table db1.t8_local attach partition 202101;

-- 对于非分区表，通过客户端将备份数据进行导入恢复
# cat t2_local.tsv | clickhouse-client -h 172.16.104.11 --query "insert into db1.t2_local format TSV";

6）集群检查、数据检查

-- 集群检查
mdw :) select * from system.clusters;

SELECT *
FROM system.clusters

┌─cluster──────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address──┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─estimated_recovery_time─┐
│ shard2_repl0 │         1 │            1 │           1 │ mdw       │ 172.16.104.11 │ 9000 │        1 │ default │                  │            0 │                       0 │
└──────────────┴───────────┴──────────────┴─────────────┴───────────┴───────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────────────┘

1 rows in set. Elapsed: 0.007 sec.

-- 数据检查
mdw :) select * from t2 order by id;

SELECT *
FROM t2
ORDER BY id ASC

┌─id─┬─name─┐
│  1 │ aa   │
│  2 │ bb   │
│  3 │ cc   │
│  4 │ dd   │
│  5 │ ee   │
└────┴──────┘

5 rows in set. Elapsed: 0.008 sec.

mdw :) select * from t8 order by id;

SELECT *
FROM t8
ORDER BY id ASC

┌─id─┬─name─┬─create_date─┐
│  4 │ ww   │  2020-01-02 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│  6 │ dsk  │  2020-07-20 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│ 12 │ aw   │  2021-01-02 │
│ 17 │ bb   │  2021-01-02 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│ 19 │ bw   │  2021-02-18 │
│ 21 │ cc   │  2020-01-08 │
└────┴──────┴─────────────┘
┌─id─┬─name─┬─create_date─┐
│ 32 │ ww   │  2020-02-02 │
└────┴──────┴─────────────┘

7 rows in set. Elapsed: 0.010 sec.
三思呐三思
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
homebrew-clickhouse：适用于MacOS Sierra和High Sierra的ClickHouse
02-03
自制ClickHouse Tap 于MacOS的。 无需ICU进行构建，不支持排序规则和字符集转换功能 安装 添加自制水龙头 brew tap arduanov/clickhouse 安装ClickHouse brew upgrade brew install clickhouse 造瓶 brew install --build-bottle --cc=gcc-8 --devel clickhouse brew bottle --json clickhouse
clickhouse扩缩容
line_on_database的博客
08-16 1173
我们之前已经学会了搭建clickhouse集群，我们搭建的是一套单分片两副本的集群，接下来我们来测试下clickhouse的扩缩容情况。
clickhouse分布式表多副本路由规则/扩缩容/备份
lixia0417mul2的博客
05-04 985
clickhouse分布式表查询时选择副本的路由规则, clickhouse副本扩缩容，clickhouse 分片扩缩容 clickhouse数据备份 clickhouse数据还原
如何优雅扩缩容，一致性哈希算法
qianshanding0708的博客
04-12 1025
- 背景 -当前后台微服务架构盛极一时，docker技术日趋成熟，二者如同伯牙子期的相遇，天作之合。而服务容器化在任何业务背景下都会遇到动态扩缩容，随着业务的访问量级波动，容器资源的自动化...
ClickHouse单节点和集群增删改操作
weixin_44741082的博客
05-27 909
增加字段 单节点模式下： 注意字段符号'`' alter table 表名 add column `字段名` 字段类型 default '注释'; 集群模式下： alter table 表名 on 集群名 add column 字段名 数据类型 default '注解'; 删除字段： 单节点模式下： alter table 表名 drop column 字段名; 集群模式下： alter...
Amazon Aurora解决方案概览.pdf
10-15
Amazon Aurora解决方案概览 Amazon Aurora是一种关系型数据库服务，由Amazon Web Services (AWS) 提供。它是基于 MySQL 的开源版本，提供高性能、可扩展性和高可用性。下面是 Amazon Aurora 的解决方案概览。 什么...
西门子数字化制造解决方案概览.rar
最新发布
04-26
西门子数字化制造解决方案概览.rar是一个集中了西门子公司数字化转型精华的精品资料，它为制造业企业提供了一套全面的数字化解决方案。这个资料包包含了丰富的内容，如数字化工厂规划、产品设计与仿真、生产过程优化...
智简园区解决方案概览.pdf
09-30
"智简园区解决方案概览.pdf" 智简园区解决方案是华为提供的一项园区解决方案，旨在帮助企业实现数字化转型，提高网络效率和安全性。该解决方案基于意图驱动的理念，引入了大数据分析和AI技术，帮助企业构建一张每...
西门子数字化制造解决方案概览.pptx
02-11
西门子数字化制造解决方案概览 西门子数字化制造解决方案概览是指西门子公司提供的一种数字化制造解决方案，旨在帮助制造企业实现数字化转型，提高生产效率、产品质量和企业创新能力。该解决方案涵盖了制造业的整个...
Microsoft Dynamics解决方案概览.pdf
10-13
Microsoft Dynamics解决方案概览.pdf
clickhouse集群部署说明
terry21的专栏
10-10 1795
1.部署机器列表 http://cmdb.sysop.duowan.com/admin/server_list.jspx 业务模块：海度数据平台->数据分析->dremel[clickhouse] 分别给每台机器配置hostname，为每台服务器添加域名 root@ubuntu:~# hostnamectl set-hostname hiido-clickhouse-01 http://aquaman.sysop.duowan.com/inner-dns/host 10.12..
四两拨千斤：小巧新秀ClickHouse如何完美支撑史上最强双十一？
华章IT官方博客
11-19 634
第12个双11已圆满结束啦！12年，既是一个轮回，也是全新的开始。今天为大家带来二号武器--云数据库ClickHouse。关于云数据库ClickHouseClickHouse是一款开源的...
clickhouse概述
懒猫的脚印
03-28 3317
随着数据科技的进步，数据分析师早已不再满足于传统的T+1式报表或需要提前设置好维度与指标的OLAP查询。数据分析师更希望使用可以支持任意指标、任意维度并秒级给出反馈的大数据Ad-hoc查询系统。这对大数据技术来说是一项非常大的挑战，传统的大数据查询引擎根本无法做到这一点。由俄罗斯的Yandex公司开源的ClickHouse脱颖而出。在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。
clickhouse（六、集群扩容）
yyoc97的专栏
03-30 7423
文章目录背景方案复制配置权重测试结尾 背景 之前公司面临磁盘不足的问题、如果通过增加磁盘来缓解了。但是clickhouse金额集群扩容是发展迟早要面临的问题，所以尝试思考解决方案。ck不同于hadoop体系，hdfs当集群增减节点时可以通过balance命令去自动调节。但ck集群不能自动感知集群拓扑变化，也不能自动 balance 数据。当集群数据量较大，复制表和分布式表过多时、想做到表维度、或者...
clickhouse简单了解及使用
热门推荐
我是60岁程序员
11-30 2万+
一、clickhouse:日处理记录数：十亿级 1.开源的列式存储的数据管理系统 2.支持线性扩展 3.简单方便 4.高可靠性 5.容错(支持多主机异步复制，可以跨多个数据中心部署， 单个节点或整个数据中心的停机时间不会影响系统的读写性能) 二、关键功能-应用场景 特性： 深度存储 广告网络和RTB 采用列式存储 向量化查询执行 电信 数据压缩 数据压缩 ...
clickhouse-数据迁移-磁盘扩容
08-02 1万+
开始上clickhouse的时候比较脑残，服务器上有三个大的盘，每个盘15T， 但是我把最大的几分日志数据都弄到了其中一个盘上了。所以最近磁盘高静，不得不开始考虑数据的重新分布。还好clickhouse提供了比较好的数据移动的支持参照clickhouse的 single page  文档 的 Manipulations with partitions and parts 这个部分。从这方面来讲，c...
clickhouse 上下线表
写bug的小哥哥
08-03 2158
下线：DETACH TABLE|VIEW|DICTIONARY [IF EXISTS] [db.]name [ON CLUSTER cluster] [PERMANENTLY]上线：ATTACH TABLE|VIEW|DICTIONARY [IF EXISTS] [db.]name [ON CLUSTER cluster] [PERMANENTLY]笔者删表喜欢直接drop table，最近遇到drop表时，表正在被写着或者其他操作，从而导致删表失败，...
ClickHouse节点扩容及数据迁移
qq_42016966的博客
09-03 7115
背景 之前公司面临磁盘不足的问题，虽然通过增加磁盘来缓解了。但是clickhouse集群节点扩充是发展迟早要面临的问题，所以尝试思考解决方案。 ck不同于hadoop体系，hdfs当集群增减节点时可以通过balance命令去自动调节。但ck集群不能自动感知集群拓扑变化，也不能自动 balance 数据。当集群数据量较大，复制表和分布式表过多时、想做到表维度、或者集群之间的数据平衡会导致运维成本很高。 方案 这里提供三个解决思路 方式一、复制 当我们追求分布式表在新集群的平衡，数据量不大的情况，可以在新集群简
腾讯云ClickHouse如何实现自动化的数据均衡？
QcloudCommunity的博客
08-28 1283
一、引言ClickHouse 是一个用于联机分析( OLAP )的列式数据库管理系统( DBMS )。它于 2016 年以 Apache 2.0 协议开源，以优秀的查询性能，深受广大大数...
桂林风景概览html
03-23
桂林是中国著名的旅游城市，以其壮丽的山水景色而闻名于世。以下是桂林风景概览的介绍： 1. 桂林山水：桂林以其独特的喀斯特地貌而著名，拥有众多的山峰、溶洞、地下河等自然景观。象鼻山、七星岩、两江四湖等都是桂林山水的代表景点。 2. 漓江风光：漓江是桂林最著名的河流，其上的山水美景被誉为“桂林山水甲天下”。乘坐竹筏或游船漫游漓江，可以欣赏到壮丽的山水、奇特的岩洞和迷人的田园风光。 3. 阳朔西街：阳朔是桂林的一个县级市，其西街是一个古老而独特的街道，保留了传统的民居建筑和浓厚的民俗文化。在这里可以品尝到地道的桂林米粉和阳朔啤酒，购买到各种手工艺品和纪念品。 4. 桂林理工大学：桂林理工大学是桂林市的一所重点高校，也是中国著名的工科大学之一。校园环境优美，建筑风格独特，是桂林的一道亮丽风景线。 5. 桂林美食：桂林有着丰富的美食文化，著名的桂林米粉、螺蛳粉、糖油粑粑等都是当地的特色小吃，深受游客喜爱。 希望以上介绍能够帮助你了解桂林的风景概览。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值