ClickHouse高可用及副本测试

最新推荐文章于 2024-08-26 17:27:42 发布
最新推荐文章于 2024-08-26 17:27:42 发布
阅读量3.7k 收藏 2
点赞数 2
分类专栏： ClickHouse 文章标签： ClickHouse OLAP 高可用 副本机制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43786255/article/details/106292490
版权

1 概述

​ 对于默认的分布式表的配置，每个分片只有一份，这种多分片单副本集群，挂掉一个节点的话查询分布式表会报错。为了解决这个问题的话可以使用ClickHouse高可用集群，对于每个分片具有2个或2个以上的副本，当某个节点挂掉时，该节点分片由其他节点的副本代替工作，这就避免了单点故障的问题。下面测试节点分别为：ambari01，ambari02，ambari03，ambari04

​ 说明：下面的测试都是以internal_replication=true进行的。internal_replication参数，为true代表了只写入shard内的一台，与ZooKeeper配合进行复制；为false代表了写入shard内所有的replica，与分布式表配合进行复制。使用写分布式表的缺点：①使用写分布式表进行复制，则可能出现多写一边成功一边失败的情况，数据的一致性不可控，②在一台服务器宕机一阵子以后，再恢复过来则这个时间段里面的数据不能自动恢复从另外的replica恢复过来。

2 高可用配置

2.1 单副本集群配置

​ 配置文件配置如下，由4个节点每个节点作为一个分片：

	<clickhouse_remote_servers>
		<ck_cluster>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari01</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari02</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari03</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari04</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
		</ck_cluster>
	</clickhouse_remote_servers>

​ （1）在每个节点创建havail库，并使用这个库

create database havail;
use havail;

​ （2）在每个节点创建一个avail表，表引擎为MergeTree ，再创建一个分布式表avail_all，表引擎为Distributed

CREATE TABLE avail (Name String,StartDate Date,Year UInt16) ENGINE = MergeTree(StartDate,(Year, StartDate),8192); 

CREATE TABLE avail_all (Name String,StartDate Date,Year UInt16) ENGINE= Distributed(ck_cluster, havail, avail, rand());

​ （3）在ambari01往avail_all表中插入一条数据并查询

insert into avail_all (Name,StartDate,Year)values('zs','2019-01-01',2019);
select * from avail_all;

在这里插入图片描述

​ （4）在每个节点上查询avail表，看写入分布表的数据存储在哪个节点的avail表上，插入分布表的数据只会存储在一个avail表上

select * from avail;

在这里插入图片描述

在这里插入图片描述

​ （5）发现数据存储在ambari02节点，手动停止ambari02的ClickHouse进程。在ambari01节点执行查询语句，报错
在这里插入图片描述

2.2 高可用集群

​ 配置文件配置如下，有4个节点2个shard，ambari01和ambari02为一个shard，ambari03和ambari04为2个shard：

	<clickhouse_remote_servers>
		<ck_cluster>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari01</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
				<replica>
					<host>ambari02</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari03</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
				<replica>
					<host>ambari04</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
		</ck_cluster>
	</clickhouse_remote_servers>

​ （1）同步上面配置到每个节点，并重启每个节点的ClickHouse

​ （2）使用前面建好的havail库

use havail;

​ （3）在每个节点创建一个havail表，表引擎为MergeTree ，再创建一个分布式表havail_all，表引擎为Distributed

CREATE TABLE havail (Name String,StartDate Date,Year UInt16) ENGINE = MergeTree(StartDate,(Year, StartDate),8192); 

CREATE TABLE havail_all (Name String,StartDate Date,Year UInt16) ENGINE= Distributed(ck_cluster, havail, havail, rand());

​ （4）在ambari01往havail_all表中插入1条数据并查询

insert into havail_all (Name,StartDate,Year)values('zs','2019-01-01',2019);
select * from havail_all;

在这里插入图片描述

​ （5）在每个节点上查询havail表，看写入分布表的数据存储在哪个节点的havail表上

select * from havail;

在这里插入图片描述

在这里插入图片描述
​ 可以发现虽然做了副本，但是MergeTree 引擎的表并不会自动复制数据，所有数据还是只在一个节点上

​ （6）发现数据存储在ambari01节点，手动停止ambari01的ClickHouse进程。在ambari02节点执行查询语句，发现不报错，但是没有数据。

在这里插入图片描述

2.3 高可用加复制表

​ 高可用加复制表是使用ReplicatedMergeTree 引擎+ Distributed引擎，作为集群结构的引擎。

CREATE TABLE table_name
(
    EventDate DateTime,
    CounterID UInt32,
    UserID UInt32
) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/table_name', '{replica}', EventDate, intHash32(UserID), (CounterID, EventDate, intHash32(UserID), EventTime), 8192)

​ 官网已经不推荐上述建表语句，但是重点是测试，所以还是使用如上建表语句，官网推荐的推荐如下：

CREATE TABLE table_name
(
    EventDate DateTime,
    CounterID UInt32,
    UserID UInt32,
    ver UInt16
) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{layer}-{shard}/table_name', '{replica}', ver)
PARTITION BY toYYYYMM(EventDate)
ORDER BY (CounterID, EventDate, intHash32(UserID))
SAMPLE BY intHash32(UserID)

​ 配置文件配置如下，有4个节点2个shard，ambari01和ambari02为一个shard，ambari03和ambari04为2个shard：

	<clickhouse_remote_servers>
		<ck_cluster>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari01</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
				<replica>
					<host>ambari02</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
			<shard>
				<internal_replication>true</internal_replication>
				<replica>
					<host>ambari03</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
				<replica>
					<host>ambari04</host>
					<user>admin</user>
					<password>admin</password>
					<port>9000</port>
				</replica>
			</shard>
		</ck_cluster>
	</clickhouse_remote_servers>

​ （1）同步上面配置到每个节点，并重启每个节点的ClickHouse

​ （2）使用前面建好的havail库

use havail;

​ （3）在每个节点创建一个havail表，表引擎为MergeTree ，再创建一个分布式表havail_all，表引擎为Distributed

CREATE TABLE havail_re (Name String,StartDate Date,Year UInt16) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-01/havail_re','havail_re-01-1',StartDate,(Year, StartDate),8192); #分片1的第1个副本,ambari01执行

CREATE TABLE havail_re (Name String,StartDate Date,Year UInt16) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-01/havail_re','havail_re-01-2',StartDate,(Year, StartDate),8192); #分片1的第2个副本,ambari03执行

CREATE TABLE havail_re (Name String,StartDate Date,Year UInt16) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-02/havail_re','havail_re-02-1',StartDate,(Year, StartDate),8192); #分片2的第1个副本,ambari03执行

CREATE TABLE havail_re (Name String,StartDate Date,Year UInt16) ENGINE = ReplicatedMergeTree('/clickhouse/tables/01-02/havail_re','havail_re-02-2',StartDate,(Year, StartDate),8192); #分片2的第2个副本,ambari04执行

CREATE TABLE havail_re_all (Name String,StartDate Date,Year UInt16) ENGINE= Distributed(ck_cluster, havail, havail_re, rand());

​ 注意：ReplicatedMergeTree的参数：第一个：‘zk路径，如果要相互复制，这里必须一样’, 第二哥：‘副本名称, 必须不一样’, 剩下的就是分区和主键，以及索引粒度

​ （4）在ambari01往havail_re_all分布式表中插入1条数据并查询

insert into havail_re_all (Name,StartDate,Year)values('zs','2019-01-01',2019);
select * from havail_re_all;

在这里插入图片描述

​ （5）在每个节点上查询havail_re表，看写入分布表的数据存储在哪个节点的havail_re表上

select * from havail_re;

在这里插入图片描述
在这里插入图片描述

​ 可以发现我们在ambari01和ambari02这两个节点的本地表havail_re都可以查到数据，说明插入数据到分布表能复制。

​ （6）在ambari03往havail_re本地表中插入1条数据并查询

insert into havail_re (Name,StartDate,Year)values('zs','2020-02-02',2020);

​ （7）查看分布式表havail_re_all可以看到前面插入的2条记录都能查询

在这里插入图片描述

​ （8）查看ambari03和ambari04的本地表是否相互复制了

在这里插入图片描述

在这里插入图片描述

​ 说明往本地表插入数据也会进行复制

​ （9）停掉ambari03的ClickHouse进程查看分布表havail_re_all是否能正常工作

在这里插入图片描述

在这里插入图片描述

​ 在ambari01上查看分布表havail_re_all能正常查询，并且不会丢数据

总结

​ （1）没有配置副本，非复制表，每个节点为一个shard的情况：数据只被插入到一个本地表中，但没有任何机制可以将它转移到另一个表中。当一个节点挂了之后查询分布表会报错

​ （2）配置副本，非复制表的情况：据只被插入到一个本地表中，但没有任何机制可以将它转移到另一个表中。当一个节点挂了之后查询分布表不会报错，但是挂了的节点的数据会丢失

​ （3）配置副本，复制表的情况：插入到分布式表中的数据仅插入到其中一个本地表中，但通过复制机制传输到另一个节点的表中，因此两个本地表上的数据保持同步。推荐使用这种配置。

Quinto0
关注
专栏目录
clickhouse 三种高可用方案
robinhunan的博客
11-14 5068
在clickhouse高可用实现中，通常会通过LB方式使每台服务器能够均匀的接受到客户端的请求，另外一点就是在其中一台服务发生故障，仍然能通过故障转移方式正常对外提供服务。
clickhouse高可用&可拓展部署
weixin_41745141的博客
07-05 978
本文介绍了clickhouse的高可用和可扩展架构的部署
ClickHouse高可用架构测试
m0_58557478的博客
08-05 709
现状：安装的是单节点。 规划：改为多节点。则单点服务改多点服务，则避免单个点断开后整个服务器重启。现在用的虚拟机1T，计划改为固态硬盘，则性能更好。 执行：运维已搭建，测试时运行etl作业观察节点间是否影响。
Clickhouse集群化（三）集群化部署
最新发布
weixin_40663313的博客
08-26 1066
clickhouse支持副本和分片的能力，但是自身无法实现需要借助zookeeper或者clickhouse-operator来实现不同节点之间数据同步，同时clickhouse的数据是最终一致性。分布式表的操作是通过无密码的default用户 但是生产环境一般不允许无密码操作 如果直接在user.xml修改default用户会导致连接分布式表错误 所以有以下几种解决方式。使用k8s部署时 需要使用挂载的方式来修改clickhouse中的配置信息 因为需要修改配置信息较多 采用文件目录挂载的方式。
高级DBA带你解决win10安装部署mysql8卡在服务启动解决方法
nasen512的博客
08-05 1646
Windows环境mysql8安装部署
Centos 6.4 / ClickHouse高可用集群配置
u013205003的专栏
02-21 5163
ClickHouse高可用集群配置 参考如下文档：  ClickHouse高可用集群的配置：    https://www.cnblogs.com/freeweb/p/9352947.html   副本表以及分布式表简单实践 :  https://www.cnblogs.com/leodaxin/p/10023641.html  ClickHouse之集群搭建以及数据复制：https://...
高可用性：ClickHouse高可用性架构与实现
AI天才研究院
01-21 1353
1.背景介绍 1. 背景介绍 ClickHouse 是一个高性能的列式数据库管理系统，主要用于实时数据处理和分析。由 Yandex 开发，ClickHouse 已经被广泛应用于各种领域，如网站日志分析、实时监控、实时报告等。 高可用性是 ClickHouse 系统的关键要素之一。在生产环境中，高可用性可以确保系统的持续运行，从而提高业务的稳定性和可靠性。为了实现高可用性，ClickHouse...
ClickHouse的高可用性与容错策略
AI天才研究院
01-25 1080
1.背景介绍 1. 背景介绍 ClickHouse 是一个高性能的列式数据库，用于实时数据处理和分析。它的高性能和实时性能使得它在各种场景中得到了广泛应用，例如实时监控、日志分析、实时报表等。 在生产环境中，为了确保 ClickHouse 的高可用性和容错性，需要采用一定的高可用性和容错策略。这篇文章将深入探讨 ClickHouse 的高可用性与容错策略，并提供一些实际的最佳实践。 2. ...
安装文档ClickHouse及其副本配置
OMgAg的博客
09-20 590
vi /etc/hostname vi /etc/hosts ``` 119.45.9.98 node1 119.45.241.201 node2 146.56.251.7 node3 ``` 免密 ``` ssh-keygen -t rsa ssh-copy-id node1 ``` xsync chmod a+x ：yum -y install rsync ```shell #!/bin/bash #1 获 取输入参数个数，如果没有参数，直接退出 pcount=$# if(
ClickHouse部署全攻略——副本部署
bbsxb520的博客
06-14 477
集群部署，包括使用keeper server方式和zookeeper方式。以及集群后的建表验证及zookeeper优化方法等
Clickhouse-高级
cybtcl的博客
04-05 4320
Clickhouse使用场景 列式存储、数据压缩、向量化执行、支 持标准 SQL、支持 20 多张表引擎、支持多线程与分布式、多主架构、交互式查询、数据分 片与分布式查询等 ClickHouse 适合 OLAP 数据分析类的场景，数据体量越大，ClickHouse 的优势越 大。ClickHouse 不适合以下场景： 1) ClickHouse 不支持事务，事务场景不适合 2) 不适合根据主键进行行粒度查询或删除场景（支持但不建议） ClickHouse集群安装 1）这里选择 node1、node2
ClickHouse 高可用集群搭建
chentyit的博客
09-22 1511
ClickHouse 高可用集群搭建 本文为作者手把手搭建 CK 集群记录，且搭建成功，但该集群环境为 QA，所以最后没有配置密码 1. 下载安装包 通过官网提供的地址下载 clickhouse-client-20.3.15.133-1.el7.x86_64.rpm clickhouse-common-static-20.3.15.133-1.el7.x86_64.rpm clickhouse-server-20.3.15.133-1.el7.x86_64.rpm clickhouse-server-com
京东 ClickHouse 高可用实践
不才伟才的博客
10-19 550
转载于京东 ClickHouse 高可用实践 – 过往记忆 分享嘉宾：李海波，京东OLAP机构师 导读：京东OLAP采取ClickHouse为主Doris为辅的策略，有3000台服务器，每天亿次查询万亿条数据写入，广泛服务于各个应用场景，经过历次大促考验，提供了稳定的服务。本文介绍了ClickHouse在京东的高可用实践，包括选型过程、集群部署、高可用架构、问题和规划。 一、应用场景和选型 京东数据分析的场景非常多，在交易、流量、大屏、用户分析和算法等多场景中采用到了OLAP技术。那么在应...
clickhouse高可用-节点宕机数据一致性方案-热扩容
zzy7075的专栏
05-17 1914
1. 集群节点及服务分配 说明： 1.1. 在每个节点上启动两个clickhouse服务(后面会详细介绍如何操作这一步)，一个数据分片，一个数据备份，为了确保宕机数据一致性，数据分片和数据备份不能同一节点，比如gawh201上的shard不能备份在gawh201的replica，如果这样做，当gawh201宕机了，该节点shard的数据是找不到的。 1.2. 基于a所以shard和replica必须错开，但不是随意错开就可以了。按照上图给的规律错开(后面会详细介绍超大节点的集群的shard和re.
Clickhouse高可用集群版三节点两副本部署
09-19 2059
集群版多副本部署，高权限用户追加
Clickhouse数据库七：配置高可用（复本）
weixin_42796403的博客
03-23 723
Clickhouse数据库七：配置高可用（复本） 副本的目的主要是保障数据的高可用性，即使一台clickhouse节点宕机，那么也可以从其他服务器获得相同的数据。 clickhouse的副本严重依赖zookeeper, 用于通知副本server状态变更 副本是表级别的，不是整个服务器级的。所以，服务器里可以同时有复本表和非复本表。 7.1 复本写入流程 7.2 配置规划 7.3 在hadoop103安装clickhouse 参考:https://blog.csdn.net/weixin_42796
ClickHouse 高可用之副本
JIE的博客 --- moon_coder
04-23 1613
官方给出的副本表创建示例：参数说明，其中表示分片标识信息，大多数情况下，只需要写入一个占位符。参数二：ZooKeeper 中该表的副本名称，该值必须与其它机器不同！在创建副本表时，它们可以存储在不同的库中，并不会影响副本的创建，只需要保证它们使用的是同一个 Zookeeper 路径即可。
ClickHouse 高可用架构: 如何实现无缝故障转移
AI天才研究院
01-08 1089
1.背景介绍 ClickHouse是一个高性能的列式数据库管理系统，主要用于数据分析和实时报表。它具有高速查询、高吞吐量和低延迟等优点，因此成为了许多公司的核心数据处理技术。然而，随着数据量的增加，ClickHouse系统的可用性和高可用性变得越来越重要。为了确保系统的可靠性，我们需要实现无缝的故障转移和高可用性。 在本文中，我们将讨论ClickHouse高可用架构的设计和实现，以及如何实现无...
ClickHouse之简单性能测试
weixin_30709061的博客
05-16 513
环境： centos 6.3，32G内存，24核 下载脚本： #!/bin/bash for s in `seq 1987 2017` do for m in `seq 1 12` do mwget -n 128 http://transtats.bts.gov/PREZIP/On_Time_On_Time_Performance_${s}_${m}.zip don...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值