clickhouse-3分片3副本搭建

已于 2023-12-01 15:47:43 修改
阅读量219 收藏
点赞数
文章标签： clickhouse 服务器 linux
于 2023-12-01 15:40:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41767351/article/details/134735420
版权

文章目录

服务器准备

3分片3副本
10.2.0.151分片 + 153的副本
10.2.0.152分片 + 151的副本
10.2.0.153分片 + 152的副本
ps:
这个比较适用于服务器既当分片又当副本的情况~
如果服务器够多，分片副本都是单独服务器就别这样费劲了~

下载clickhouse安装包

cd /usr/local/clickhouse
wget https://mirrors.tuna.tsinghua.edu.cn/clickhouse/rpm/stable/x86_64/clickhouse-client-22.2.2.1-2.noarch.rpm
wget https://mirrors.tuna.tsinghua.edu.cn/clickhouse/rpm/stable/x86_64/clickhouse-common-static-22.2.2.1-2.x86_64.rpm
wget https://mirrors.tuna.tsinghua.edu.cn/clickhouse/rpm/stable/x86_64/clickhouse-server-22.2.2.1-2.noarch.rpm

# 安装
rpm -ivh clickhouse-common-static-22.2.2.1-2.x86_64.rpm clickhouse-client-22.2.2.1-2.noarch.rpm clickhouse-server-22.2.2.1-2.noarch.rpm

在所有服务器进行上述操作

修改密码

cd /etc/clickhouse-server/
vi users.xml

<password>xxxxxx</password>

下边remote_servers里的password

修改配置文件

cd /etc/clickhouse-server/
# copy一份,另一台的副本集也在这启动
cp config.xml config2.xml

# 先改config.xml
vi config.xml


# 更改监听让所有正常ip可连接
<listen_host>0.0.0.0</listen_host>

# 日志,端口文件用默认的，这里不做操作

# 更改 interserver_http_host  如果是hostname不用修改，如果是ip一点要修改，改成对应服务器ip就行
<interserver_http_host>10.2.0.151</interserver_http_host>

# 配置 remote_server port和tcp_port对应
# enic_cluster 这个自己命名就行，建库建表需要用到
<remote_servers>
        <enic_cluster>
			<shard>
				<weight>1</weight>
				<internal_replication>true</internal_replication>
				<replica>
					<host>10.2.0.151</host>
					<port>9000</port>
					<user>default</user>
					<password>default</password>
				</replica>
				<replica>
					<host>10.2.0.152</host>
					<port>9001</port>
					<user>default</user>
					<password>default</password>
				</replica>
			</shard>
			<shard>
				<weight>1</weight>
				<internal_replication>true</internal_replication>
				<replica>
					<host>10.2.0.152</host>
					<port>9000</port>
					<user>default</user>
                    <password>default</password>
				</replica>
				<replica>
					<host>10.2.0.153</host>
					<port>9001</port>
					<user>default</user>
					<password>default</password>
				</replica>
			</shard>
			<shard>
				<weight>1</weight>
				<internal_replication>true</internal_replication>
				<replica>
					<host>10.2.0.153</host>
					<port>9000</port>
					<user>default</user>
                    <password>default</password>
				</replica>
				<replica>
					<host>10.2.0.151</host>
					<port>9001</port>
					<user>default</user>
                    <password>default</password>
				</replica>
			</shard>
		</enic_cluster>
    </remote_servers>

# 配置zookeeper
<zookeeper>
	<node index="1">
		<host>ip1</host>
		<port>2181</port>
	</node>
	<node index="2">
		<host>ip2</host>
		<port>2181</port>
	</node>
	<node index="3">
		<host>ip3</host>
		<port>2181</port>
	</node>
</zookeeper>

# 配置macros
<macros>
    <shard>01</shard>
    <replica>01-1</replica>
</macros>


# 再改config2.xml
vi config2.xml


# 更改监听让所有正常ip可连接
<listen_host>0.0.0.0</listen_host>

# 更改端口
<http_port>8124</http_port>
<tcp_port>9001</tcp_port>
<mysql_port>9010</mysql_port>
<postgresql_port>9011</postgresql_port>
<interserver_http_port>9012</interserver_http_port>

# 更改日志文件
<log>/var/log/clickhouse-server2/clickhouse-server.log</log>
<errorlog>/var/log/clickhouse-server2/clickhouse-server.err.log</errorlog>
<path>/var/lib/clickhouse2/</path>
<tmp_path>/var/lib/clickhouse2/tmp/</tmp_path>
<user_files_path>/var/lib/clickhouse2/user_files/</user_files_path>

# 更改 interserver_http_host  如果是hostname不用修改，如果是ip一点要修改，改成对应服务器ip就行
<interserver_http_host>10.2.0.151</interserver_http_host>

# 配置 remote_server
# enic_cluster 这个自己命名就行，建库建表需要用到
<remote_servers>
        <enic_cluster>
			<shard>
				<weight>1</weight>
				<internal_replication>true</internal_replication>
				<replica>
					<host>10.2.0.151</host>
					<port>9000</port>
					<user>default</user>
					<password>default</password>
				</replica>
				<replica>
					<host>10.2.0.152</host>
					<port>9001</port>
					<user>default</user>
					<password>default</password>
				</replica>
			</shard>
			<shard>
				<weight>1</weight>
				<internal_replication>true</internal_replication>
				<replica>
					<host>10.2.0.152</host>
					<port>9000</port>
					<user>default</user>
                    <password>default</password>
				</replica>
				<replica>
					<host>10.2.0.153</host>
					<port>9001</port>
					<user>default</user>
					<password>default</password>
				</replica>
			</shard>
			<shard>
				<weight>1</weight>
				<internal_replication>true</internal_replication>
				<replica>
					<host>10.2.0.153</host>
					<port>9000</port>
					<user>default</user>
                    <password>default</password>
				</replica>
				<replica>
					<host>10.2.0.151</host>
					<port>9001</port>
					<user>default</user>
                    <password>default</password>
				</replica>
			</shard>
		</enic_cluster>
    </remote_servers>

# 配置zookeeper
<zookeeper>
	<node index="1">
		<host>ip1</host>
		<port>2181</port>
	</node>
	<node index="2">
		<host>ip2</host>
		<port>2181</port>
	</node>
	<node index="3">
		<host>ip3</host>
		<port>2181</port>
	</node>
</zookeeper>

# 配置macros
<macros>
    <shard>03</shard>
    <replica>03-2</replica>
</macros>

注意点

1.创建文件夹,副本集要用到，如果服务器多，那就不需要了。。
mkdir /var/lib/clickhouse2
mkdir /var/log/clickhouse-server2
chown -R clickhouse:clickhouse /var/lib/clickhouse2
chown -R clickhouse:clickhouse /var/log/clickhouse-server2
2.更改interserver_http_host,用ip需要改
3.更改macros
4.更改端口，日志路径

启动clickhouse服务

# 启动
sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config.xml &
sudo -u clickhouse clickhouse-server --config-file=/etc/clickhouse-server/config2.xml &
# 停止
用ps -ef|grep clickhouse
kill -9

用dbeaver连接测试
SELECT * FROM system.clusters WHERE cluster = 'enic_cluster'

在这里插入图片描述

测试

# 创建工作空间
CREATE DATABASE test_database ON CLUSTER enic_cluster;

# 创建副本表
create table test_database.test_table on cluster enic_cluster(
    `id` Int64 COMMENT '主键',
    ...
    `dt` String COMMENT '日期'
    )ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/test','{replica}')
 PARTITION BY dt
ORDER BY id
SETTINGS index_granularity = 8192;

# 创建分布式表
CREATE TABLE test_database.test_table_all ON CLUSTER enic_cluster  engine = Distributed(enic_cluster, test_database, test_table ,rand());

查询，新增直接在分布式表操作就可以了~
远方丶丶
关注
Clickhouse的3节点/3分片/2副本/环形复制拓扑/分布式表/复制表/离线集群/部署
建模分析师胡选来
04-18 9590
///////////////////////离线安装///////////////////// ubuntu 16: 在有网的服务器上下载clickhouse安装包： https://repo.yandex.ru/clickhouse/deb/stable/main/ clickhouse-client_19.4.3.11_all.deb clickhouse-common-static_19....
ClickHouse分布式部署搭建单分片二副本集群
最新发布
wang20010104的博客
08-26 1114
搭建单分片二副本集群，使用MergeTree引擎测试数据同步服务器：结构图。
Docker快速搭建Clickhouse集群(3分片3副本)
公众号-测试生财
02-15 3910
背景 前文简单介绍了下Clickhouse的安装和客户端使用，在实际生产环境中，Clickhouse常常是以集群模式部署的，由于很多系统不满足sse4.2指令，这里使用docker来搭建一个Clickhouse的集群。 1. 环境说明 1.1 机器列表 机器名 IP 配置 操作系统 部署的服务 备注 server01 192.168.21.2
ClickHouse集群多副本建表语句
XiangBeiNiAiTe的博客
08-07 128
【代码】ClickHouse集群多副本建表语句。
ClickHouse集群(三副本)安装
陈旭猿的博客
02-16 226
三台机器，clickhouse三副本安装
【ClickHouse】-03.副本与分片-分片篇
Pushkin.的博客
09-24 1600
【ClickHouse】-03.副本与分片-分片篇 数据分片 distributed原理解析
Clickhouse集群部署(3分片)
qq_41767351的博客
11-23 158
【代码】Clickhouse集群部署(3分片)
记录一次clickhouse三台机器三分片双副本环绕部署(分布式集群多副本多分片)
syyyyyyyyyyyyyyh的博客
07-23 2429
IP 192.168.0.81 192.168.0.102 192.168.0.103 1 准备工作 1.1 CentOS 取消打开文件数限制 （所有机器） 在 /etc/security/limits.conf 的末尾分别加入以下内容： [root@ch1 ~]# vim /etc/security/limits.conf 在文件末尾添加： * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard n...
MongoDB搭建高可用集群的完整步骤（3个分片+3个副本）
12-16
在本文中，我们将探讨如何搭建一个高可用的MongoDB集群，包括3个分片和3个副本集，确保数据的高可用性和容错性。 首先，我们需要规划网络端口和IP地址。在给出的架构图中，每个副本集由3个节点组成，每个节点都有一...
部署clickhouse集群2分片1副本
打卤的博客
11-19 511
先安装zookeeper集群。 安装简单理解配置需要仔细研究 4个节点每2主副本为一组分片 直接yum安装先安单机逐个安装 yum install yum-utils -y rpm --import https://repo.clickhouse.com/CLICKHOUSE-KEY.GPG yum-config-manager --add-repo https://repo.clickhouse.com/rpm/stable/x86_64 yum install clickhouse-server cli
ClickHouse-集群部署以及副本和分片
clearlxj的博客
12-07 3267
副本 副本的目的主要是保障数据的高可用性,即使一台 ClickHouse 节点宕机,那么也可以从其他服务器获得相同的数据。 https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/ 副本只支持合并数家族，支持的引擎如下： 副本写入流程 clickhouse集群没有主从之分 配置步骤 (1)启动 zookeeper 集群 (2)在 hadoop113 的/etc/clickhouse-server
clickhouse副本与分片
lixia0417mul2的博客
05-03 1129
clickhouse副本： clickhouse副本可以增加数据的可靠性，防止数据丢失，并且可以分担读写负载 clickhouse分片： clickhouse的分片主要是解决单节点容量不足，需要把数据分摊到多个节点，起到类似mysql的分库分表的作用 假设我们现在有10.100.0.1-10.100.0.4四个服务节点，我们搭建一个2分片1副本的集群，所有的配置内容如下所示: 10.100.0.1节点 对应分片1: <yandex> <zookeeper-server>
clickhouse 副本与分片
微不足道的小博
12-28 648
文章目录副本1、目的2、特点3、流程4、副本配置分片1、目的2、简略过程3、配置文件（一般采用外置配置文件的方式）4、internal_replication 副本 1、目的 保障数据的高可用性，即某一 clickhouse 节点宕机，也可以从其他服务器获取相同的数据（副本之间数据相同）。 2、特点 副本的实现依赖于 Zookeeper。 副本之间等级相同，互为副本，不存在主从副本。 3、流程 写入： 向某一副本的表写入数据 往zookeeper提交写入日志 其他副本收到写入日志 其他副本开始从
ClickHouse学习笔记（五）：ClickHouse 副本与分片
u011047968的专栏
05-04 2018
第一种：从数据层面区分，假设 ClickHouse 的 N 个节点组成了一个集群，在集群的各个节点上，都有一张结构相同的数据 Y。如果 N1 的 Y 和 N2 的 Y 中的数据完全不同，则 N1 和 N2 互为分片；如果他们的数据完全相同，则他们互为副本。分片之间的数据是不同的，副本之间的数据是完全相同的。第二种：从功能作用层面区分，使用副本的主要目的是防止数据丢失，增加数据存储的冗余；而使用分片的主要目的是实现数据的水平切分。
Spark3+Clickhouse+Hadoop大数据实战课程
04-13
数据分析职业是一个多金的职业，数据分析职位是一个金饭碗的职位，前景美好，但是要全面掌握大数据分析技术，非常困难，大部分学员的痛点是不能快速找到入门要点，精准快速上手。本课程采用项目驱动的方式，以Spark3和Clickhouse技术为突破口，带领学员快速入门Spark3+Clickhouse数据分析，促使学员成为一名高效且优秀的大数据分析人才。学员通过本课程的学习，不仅可以掌握使用Python3进行Spark3数据分析，还会掌握利用Scala/java进行Spark数据分析，多语言并进，力求全面掌握；另外通过项目驱动，掌握Spark框架的精髓，教导Spark源码查看的技巧；会学到Spark性能优化的核心要点，成为企业急缺的数据分析人才；更会通过Clickhouse和Spark搭建OLAP引擎，使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目，学完即可拿来作为自己的项目经验，增加面试谈薪筹码。课程涉及内容：Ø  Spark内核原理（RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL）Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)Ø  Spark特征处理及模型预测Ø  Spark实时数据分析(Structed Stream)原理及实战Ø  Spark+Hive构建离线数据仓库（数仓概念ODS/DWD/DWS/ADS）Ø  Clickhouse核心原理及实战Ø  Clickhouse engine详解Ø  Spark向Clickhouse导入简历数据，进行数据聚合分析Ø  catboost训练房价预测机器学习模型Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测Ø  Clickhouse集群监控，Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporterØ  Spark性能优化Ø  Spark工程师面试宝典       课程组件：集群监控：福利：本课程凡是消费满359的学员，一律送出价值109元的实体书籍.
ClickHouse 高可用之副本
JIE的博客 --- moon_coder
04-23 1605
官方给出的副本表创建示例：参数说明，其中表示分片标识信息，大多数情况下，只需要写入一个占位符。参数二：ZooKeeper 中该表的副本名称，该值必须与其它机器不同！在创建副本表时，它们可以存储在不同的库中，并不会影响副本的创建，只需要保证它们使用的是同一个 Zookeeper 路径即可。
clickhouse（一）两分片两副本集群搭建
Interest1_wyt的博客
08-08 3790
最近工作中遇到了clickhouse副本存储的问题，所以准备搭建一套clickhouse集群研究下，这里将搭建的过程和遇到的坑记录下，便于以后使用。 1、准备三台虚拟机，分别安装clickhouse的服务端和客户端 这里的安装过程是纯粹拷贝的官网命令，首先验证虚拟机是否支持clickhouse的安装： grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supporte...
6.ClickHouse系列之配置副本集、分片集群
算法小生
10-21 952
副本集对数据进行完整备份，数据高可用，对于分片集群来说，不管是ES还是ClickHouse是为了解决数据的问题，ClickHouse在实际应用中一般配置副本集就好了。
ClickHouse集群部署 全网最佳实践
热门推荐
weixin_44123540的博客
07-24 1万+
一、准备工作： 1.机器准备： 我们准备了6台机器用来部署clickhouse，准备搭建一个3分片2副本集群，当然也可根据你自己实际情况选择机器数量。 2.在每台机器上安装clickhouse： 依次执行以下命令（来源于官网文档）： sudo yum install yum-utils sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG sudo yum-config-manager --add-repo https://rep
apt-get install clickhouse-client clickhouse-server
05-29
sudo apt-get install -y clickhouse-server ``` 3. 通过以下命令安装 ClickHouse 客户端。 ```shell sudo apt-get install -y clickhouse-client ``` 安装完成后，您可以启动 ClickHouse 服务并使用 ClickHouse ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值