clickhouse三节点三分片双副本环绕部署

已于 2022-12-13 17:21:27 修改
阅读量2.1k 收藏 7
点赞数 1
文章标签： clickhouse 数据库
于 2022-12-12 16:50:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuyv/article/details/128289403
版权

文章目录

clickhouse安装部署

rpm安装过程以及注意事项

01节点 metrika.xml 配置文件信息

<?xml version="1.0"?>
<yandex>
    <remote_servers>
        <_3s2r_cluster> <!-- 集群名称-->
            <shard> <!--集群的第一个分片-->
				<weight>1</weight>
                <internal_replication>true</internal_replication>
                <!--该分片的第一个副本-->
                <replica>
                    <host>foton1</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
					<default_database>mycluster_shard_1</default_database>
                </replica>
				<!--该分片的第二个副本-->
				<replica>
                    <host>foton2</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
					<default_database>mycluster_shard_1</default_database>
                </replica>
            </shard>
            <shard> <!--集群的第二个分片-->
				<weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>   <!--该分片的第一个副本-->
                    <host>foton2</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
					<default_database>mycluster_shard_2</default_database>
                </replica>
				<!--该分片的第二个副本-->
				<replica>
                    <host>foton3</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
					<default_database>mycluster_shard_2</default_database>
                </replica>
            </shard>
            <shard> <!--集群的第三个分片-->
				<weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>   <!--该分片的第一个副本-->
                    <host>foton3</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
					<default_database>mycluster_shard_3</default_database>
                </replica>
				<!--该分片的第二个副本-->
				<replica>
                    <host>foton1</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
					<default_database>mycluster_shard_3</default_database>
                </replica>
            </shard>
        </_3s1r_cluster>
    </remote_servers>
    <zookeeper-servers>
        <node index="1">
            <host>foton1</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>foton2</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>foton3</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>
</yandex>

02节点 metrika.xml 配置文件信息

<?xml version="1.0"?>
<yandex>
    <remote_servers>
        <_3s2r_cluster> <!-- 集群名称-->
            <shard> <!--集群的第一个分片-->
		<weight>1</weight>
                <internal_replication>true</internal_replication>
                <!--该分片的第一个副本-->
                <replica>
                    <host>foton1</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_1</default_database>
                </replica>
		<!--该分片的第二个副本-->
		<replica>
                    <host>foton2</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_1</default_database>
                </replica>
            </shard>
            <shard> <!--集群的第二个分片-->
		<weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>   <!--该分片的第一个副本-->
                    <host>foton2</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_2</default_database>
                </replica>
		<!--该分片的第二个副本-->
		<replica>
                    <host>foton3</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_2</default_database>
                </replica>
            </shard>
            <shard> <!--集群的第三个分片-->
		<weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>   <!--该分片的第一个副本-->
                    <host>foton3</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_3</default_database>
                </replica>
		<!--该分片的第二个副本-->
		<replica>
                    <host>foton1</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_3</default_database>
                </replica>
            </shard>
        </_3s1r_cluster>
    </remote_servers>
    <zookeeper-servers>
        <node index="1">
            <host>foton1</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>foton2</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>foton3</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

	<macros>
		<shard>01</shard>
		<replica>cluster01-01-2</replica>
	</macros>
	<macros>
		<shard>03</shard>
		<replica>cluster01-02-1</replica>
	</macros>

</yandex>

03节点 metrika.xml 配置文件信息

<?xml version="1.0"?>
<yandex>
    <remote_servers>
        <_3s2r_cluster> <!-- 集群名称-->
            <shard> <!--集群的第一个分片-->
		<weight>1</weight>
                <internal_replication>true</internal_replication>
                <!--该分片的第一个副本-->
                <replica>
                    <host>foton1</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_1</default_database>
                </replica>
		<!--该分片的第二个副本-->
		<replica>
                    <host>foton2</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_1</default_database>
                </replica>
            </shard>
            <shard> <!--集群的第二个分片-->
		<weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>   <!--该分片的第一个副本-->
                    <host>foton2</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_2</default_database>
                </replica>
		<!--该分片的第二个副本-->
		<replica>
                    <host>foton3</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_2</default_database>
                </replica>
            </shard>
            <shard> <!--集群的第三个分片-->
		<weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>   <!--该分片的第一个副本-->
                    <host>foton3</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_3</default_database>
                </replica>
		<!--该分片的第二个副本-->
		<replica>
                    <host>foton1</host>
                    <port>9002</port>
                    <user>default</user>
                    <password>xxx</password>
		    <default_database>mycluster_shard_3</default_database>
                </replica>
            </shard>
        </_3s1r_cluster>
    </remote_servers>
    <zookeeper-servers>
        <node index="1">
            <host>foton1</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>foton2</host>
            <port>2181</port>
        </node>
        <node index="3">
            <host>foton3</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

	<macros>
		<shard>01</shard>
		<replica>cluster01-02-2</replica>
	</macros>
	<macros>
		<shard>03</shard>
		<replica>cluster01-03-2</replica>
	</macros>
</yandex>

macros 实例信息编辑

01节点实例信息
在这里插入图片描述

02节点实例信息
在这里插入图片描述

03节点实例信息
在这里插入图片描述

查看结果

在这里插入图片描述

建表测试

在ck001服务器上通过客户端执行

create database mycluster_shard_1;
create database mycluster_shard_2;
create database mycluster_shard_3;

在ck002服务器上通过客户端执行

create database mycluster_shard_1;
create database mycluster_shard_2;
create database mycluster_shard_3;

在ck003服务器上通过客户端执行

create database mycluster_shard_1;
create database mycluster_shard_2;
create database mycluster_shard_3;

//在ck001上执行

create table mycluster_shard_1.tbl_rep( 
  c1 Int32, 
  mydate Date 
) engine = ReplicatedMergeTree('/clickhouse/tables/1/dtbl', '1', mydate, (mydate), 8192);

//在ck002上执行

create table mycluster_shard_1.tbl_rep ( 
  c1 Int32,
  mydate Date
) engine = ReplicatedMergeTree('/clickhouse/tables/1/dtbl', '2', mydate, (mydate), 8192);

//在ck002上执行

create table mycluster_shard_2.tbl_rep (
  c1 Int32,
  mydate Date
) engine = ReplicatedMergeTree('/clickhouse/tables/2/dtbl', '1', mydate, (mydate), 8192);

//在ck003上执行

create table mycluster_shard_2.tbl_rep (
  c1 Int32,
  mydate Date
) engine = ReplicatedMergeTree('/clickhouse/tables/2/dtbl', '2', mydate, (mydate), 8192);

//在ck003上执行

create table mycluster_shard_3.tbl_rep (
  c1 Int32,
  mydate Date
) engine = ReplicatedMergeTree('/clickhouse/tables/3/dtbl', '1', mydate, (mydate), 8192);

//在ck001上执行

create table mycluster_shard_3.tbl_rep (
  c1 Int32,
  mydate Date
) engine = ReplicatedMergeTree('/clickhouse/tables/3/dtbl', '2', mydate, (mydate), 8192);

//在ck001上执行

use default;
create table dtbl (
  c1 Int32,
  mydate Date
) engine=Distributed('mycluster', '', tbl_rep, rand());

insert into table dtbl values(2, '2019-04-19')
insert into table dtbl values(1, '2019-04-19')
insert into table dtbl values(3, '2019-04-19')
select * from dtbl;

执行结果如下：
三节点三分片双副本

首先查看分布式表，三分片
在这里插入图片描述

然后查看本地表数据，由于插入了3条数据，如下每条数据都有2个副本，分别散在各个节点上。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

take off now
关注
记录一次clickhouse三台机器三分片双副本环绕部署(分布式集群多副本多分片)
syyyyyyyyyyyyyyh的博客
07-23 2423
IP 192.168.0.81 192.168.0.102 192.168.0.103 1 准备工作 1.1 CentOS 取消打开文件数限制 （所有机器） 在 /etc/security/limits.conf 的末尾分别加入以下内容： [root@ch1 ~]# vim /etc/security/limits.conf 在文件末尾添加： * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard n...
Clickhouse的3节点/3分片/2副本/环形复制拓扑/分布式表/复制表/离线集群/部署
建模分析师胡选来
04-18 9583
///////////////////////离线安装///////////////////// ubuntu 16: 在有网的服务器上下载clickhouse安装包： https://repo.yandex.ru/clickhouse/deb/stable/main/ clickhouse-client_19.4.3.11_all.deb clickhouse-common-static_19....
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
shuyv的博客
01-04 1926
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
部署 ClickHouse 6节点集群（3分片2副本）
weixin_40726747的博客
07-26 390
在每个节点上，挂载新的数据盘用于 ClickHouse 数据存储。至此，ClickHouse 6节点集群已成功部署完毕。其他节点类似，具体命令请根据实际数据盘路径调整。
Clickhouse 3分片2副本 集群搭建方法 附基本原理概念和详细搭建步骤 (单节点多实例部署方法)
知行合一
06-27 3319
本文档描述了 Clickhouse 集群在三台物理主机上的 “3分片2副本” 的配置及搭建方法。 使用该方法进行 Clickhouse 的集群搭建，即可在保障充分并行利用 3 台机器算例的同时，对每个 shard 进行跨主机的备份，为 Clickhouse 服务高可用和错误恢复机制提供了底层技术支撑。
clickhouse集群搭建（3分片2副本）
leejunokokok的专栏
05-31 4364
集群名称 分片 副本 IP地址 端口 用户 cluster_3shards_2replicas 1 1 10.1.48.12 9000 default cluster_3shards_2replicas 1 ...
clickhouse笔记05--快速部署3节点集群
脚步不能达到的地方，眼光可以达到；眼光不能达到的地方，精神可以飞到
12-23 1699
clickhouse笔记05--快速部署3节点集群 1 介绍 2 方法步骤 2.1 部署 zookeeper 集群 2.2 拉起 clickhouse 集群 2.3 测试集群 3 注意事项 4 说明 1 介绍 clickhouse笔记01–快速部署clickhouse 介绍了如何快速部署单节点clickhouse服务，本文基于该博文继续介绍如何快速部署3节点0副本的集群。 2 方法步骤 节点说明： 节点 ip ch01 192.168.2.31 ch02 192.168.2.32 ch03 192.16
【Clickhouse】3分片2副本Clickhouse集群部署
Meepoljd的博客
10-25 1004
最近业务方有Clickhouse的使用需求，在测试环境做了一下集群的部署，在此记录
Clickhouse集群3节点2副本搭建
weixin_45716108的博客
10-13 2312
因公司服务器资源有限，现需要在3台服务器上搭建3节点2副本的Clickhouse集群。在每台服务器上需安装两个clickhouse实例。 一：Clickhouse安装（3台服务器上）1.下载clickhouse相关安装包，忽略依赖关系强制安装rpm -ivh clickhouse-client-19.16.3.6-1.el7.x86_64.rpm --nodepsrpm -ivh clickhouse-common-static-19.16.3.6-1.el7.x86_64.rpm --nodepsrpm
ClickHouse分布式部署搭建单分片二副本集群
最新发布
wang20010104的博客
08-26 1097
搭建单分片二副本集群，使用MergeTree引擎测试数据同步服务器：结构图。
「从ES到CK 03」Clickhouse多分片多副本集群部署
Pong_Kaho的博客
12-27 649
多分片多副本、使用多级存储的clickhouse集群的详细部署过程
三节点搭建clickhouse集群（含网络规划和软件版本信息）.docx
01-20
从头开始搭建clickhouse集群
clickhouse集群搭建【三节点为例】
lyq7269的博客
11-19 2923
下载clickhouse的rpm包 首先创建RPM包所在位置 mkdir -p /opt/software/clickhouse/ cd /opt/software/clickhouse/ 下载地址 clickhouse安装包下载链接 按照顺序安装 rpm -ivh clickhouse-server-common-19.3.6-1.el7.x86_64.rpm rpm -ivh clickhouse-common-static-19.3.6-1.el7.x86_64.rpm rpm -ivh click
Clickhouse高可用集群版三节点两副本部署
09-19 2028
集群版多副本部署，高权限用户追加
ClickHouse三分片两副本集群部署
zhaizhai6_6的博客
07-18 501
ClickHouse 三分片两副本配置案例，包括 chproxy 的配置。
ClickHouse集群(三副本)安装
陈旭猿的博客
02-16 224
三台机器，clickhouse三副本安装
Clickhouse集群部署(3分片)
qq_41767351的博客
11-23 155
【代码】Clickhouse集群部署(3分片)
ClickHouse 高可用之副本
JIE的博客 --- moon_coder
04-23 1570
官方给出的副本表创建示例：参数说明，其中表示分片标识信息，大多数情况下，只需要写入一个占位符。参数二：ZooKeeper 中该表的副本名称，该值必须与其它机器不同！在创建副本表时，它们可以存储在不同的库中，并不会影响副本的创建，只需要保证它们使用的是同一个 Zookeeper 路径即可。
clickhouse三分片三副本的配置
05-26
在 ClickHouse 中进行分片和副本的配置可以通过以下步骤实现： 1. 首先需要在 ClickHouse 集群中创建一个 ZooKeeper 集群。可以使用 Apache ZooKeeper 来实现。需要确保 ZooKeeper 在集群中的所有节点上都已经安装并正在运行。 2. 然后需要在 ClickHouse 集群中创建一个分布式表。可以使用以下命令来创建一个名为 my_table 的表： ``` CREATE TABLE my_table ( key UInt32, value String ) ENGINE = Distributed('my_cluster', default, my_table', rand()); ``` 其中，my_cluster 是 ClickHouse 集群中的名称，default 是默认分片键，rand() 是随机分片函数。 3. 接下来需要在 ClickHouse 集群中创建分片。可以使用以下命令来创建三个分片： ``` CREATE TABLE my_table_1 ( key UInt32, value String ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/my_table', '{replica}') PARTITION BY key ORDER BY key SETTINGS index_granularity = 8192; CREATE TABLE my_table_2 ( key UInt32, value String ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/my_table', '{replica}') PARTITION BY key ORDER BY key SETTINGS index_granularity = 8192; CREATE TABLE my_table_3 ( key UInt32, value String ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/my_table', '{replica}') PARTITION BY key ORDER BY key SETTINGS index_granularity = 8192; ``` 其中，/clickhouse/tables 是 ClickHouse 集群中的默认表路径，{shard} 是分片的名称，{replica} 是副本的名称。 4. 最后需要在每个分片中创建三个副本。可以使用以下命令来创建三个副本： ``` ALTER TABLE my_table_1 ADD REPLICA 'node1:9000'; ALTER TABLE my_table_1 ADD REPLICA 'node2:9000'; ALTER TABLE my_table_1 ADD REPLICA 'node3:9000'; ALTER TABLE my_table_2 ADD REPLICA 'node2:9000'; ALTER TABLE my_table_2 ADD REPLICA 'node3:9000'; ALTER TABLE my_table_2 ADD REPLICA 'node1:9000'; ALTER TABLE my_table_3 ADD REPLICA 'node3:9000'; ALTER TABLE my_table_3 ADD REPLICA 'node1:9000'; ALTER TABLE my_table_3 ADD REPLICA 'node2:9000'; ``` 其中，node1、node2、node3 是 ClickHouse 集群中的节点名称，9000 是节点的端口号。 完成以上步骤后，ClickHouse 集群将会具有三个分片和每个分片的三个副本。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值