ClickHouse 高可用集群搭建

最新推荐文章于 2024-08-05 21:57:23 发布
最新推荐文章于 2024-08-05 21:57:23 发布
阅读量1.5k 收藏 7
点赞数
分类专栏： 大数据 文章标签： ClickHouse 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chentyit/article/details/108738169
版权

ClickHouse 高可用集群搭建

本文为作者手把手搭建 CK 集群记录，且搭建成功，但该集群环境为 QA，所以最后没有配置密码

1. 下载安装包

通过官网提供的地址下载

clickhouse-client-20.3.15.133-1.el7.x86_64.rpm
clickhouse-common-static-20.3.15.133-1.el7.x86_64.rpm
clickhouse-server-20.3.15.133-1.el7.x86_64.rpm
clickhouse-server-common-20.3.15.133-1.el7.x86_64.rpm
clickhouse-test-20.3.15.133-1.el7.x86_64.rpm

2. 下载安装依赖

wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/p/perl-JSON-XS-3.01-2.el7.x86_64.rpm
wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/p/perl-Types-Serialiser-1.0-1.el7.noarch.rpm
wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/p/perl-common-sense-3.6-4.el7.noarch.rpm
# 安装顺序不能错，不然会报错
# perl(JSON::XS) is needed by clickhouse-test-20.3.15.133-1.el7.x86_64
rpm -ivh perl-common-sense-3.6-4.el7.noarch.rpm
rpm -ivh perl-Types-Serialiser-1.0-1.el7.noarch.rpm
rpm -ivh perl-JSON-XS-3.01-2.el7.x86_64.rpm

缺失的依赖可以到该网址搜索下载，搜索的时候只用输入 perl(JSON::XS) 即可

3. 安装 ClickHouse

rpm -ivh clickhouse-server-common-20.3.15.133-1.el7.x86_64.rpm
rpm -ivh clickhouse-common-static-20.3.15.133-1.el7.x86_64.rpm
rpm -ivh clickhouse-server-20.3.15.133-1.el7.x86_64.rpm
rpm -ivh clickhouse-client-20.3.15.133-1.el7.x86_64.rpm
rpm -ivh clickhouse-test-20.3.15.133-1.el7.x86_64.rpm

4. 创建软件目录

cd /disk/data01

mkdir -p clickhouse/data
mkdir -p clickhouse/logs
mkdir -p clickhouse/tmp

mkdir -p clickhouse2/data
mkdir -p clickhouse2/logs
mkdir -p clickhouse2/tmp

chown -R clickhouse:clickhouse clickhouse*

5. 规划集群

shard_numreplica_numhost_namehost_addressport
11business-data-0001192.168.4.1939000
12business-data-0002192.168.4.1379001
21business-data-0002192.168.4.1379000
22business-data-0001192.168.4.1939001

6. 配置实例

vim /etc/clickhouse-server/config.xml

config.xml 配置如下：

<!-- config -->
<logger>
    <level>trace</level>
    <log>/disk/data01/clickhouse/logs/clickhouse-server.log</log>
    <errorlog>/disk/data01/clickhouse/logs/clickhouse-server.err.log</errorlog>
    <size>1000M</size>
    <count>10</count>
</logger>

<!-- config -->
<include_from>/etc/clickhouse-server/metrika1.xml</include_from>

<!-- config -->
<listen_host>::</listen_host>

<!-- config -->
<path>/disk/data01/clickhouse/data</path>
<tmp_path>/disk/data01/clickhouse/tmp</tmp_path>

cd /etc/clickhouse-server/
mv config.xml config1.xml
cp config1.xml config2.xml
# 这里需要修改 config2.xml 中的端口以及数据存放的目录
vim config2.xml

config2.xml 修改内容如下

<logger>
    <level>trace</level>
    <!-- 修改第二台实例日志存放的路径 -->
    <log>/disk/data01/clickhouse2/logs/clickhouse-server.log</log>
    <errorlog>/disk/data01/clickhouse2/logs/clickhouse-server.err.log</errorlog>
    <size>1000M</size>
    <count>10</count>
</logger>

<!-- 修改端口，统一在 config1.xml 文件的基础上 +1 -->
<http_port>8124</http_port>
<tcp_port>9001</tcp_port>
<mysql_port>9005</mysql_port>

<!-- config -->
<include_from>/etc/clickhouse-server/metrika1.xml</include_from>

<!-- config -->
<interserver_http_port>9010</interserver_http_port>

<!-- 修改第二台实例的数据目录和 tmp 数据目录 -->
<path>/disk/data01/clickhouse2/data</path>
<tmp_path>/disk/data01/clickhouse2/tmp</tmp_path>

7. 添加配置附件

在 config.xml 中配置的 <include_from>/etc/clickhouse-server/metrika*.xml</include_from> 是用于加载附加配置的，将附加文件 include 进来，通过标签中的 incl 属性将对应的标签内容引入，比如 <remote_servers incl="clickhouse_remote_servers" > 就是引入 metrika*.xml 文件中的 <clickhouse_remote_servers> 标签

vim metrika1.xml

metrika1.xml 配置如下

<yandex>
    <clickhouse_remote_servers>
        <!-- 2分片1备份 -->
        <cluster_2shards_1replicas>
            <!-- 数据分片1  -->
            <shard>
                <replica>
                    <host>business-data-0001</host>
                    <port>9000</port>
                </replica>
            </shard>
            <!-- 数据分片2  -->
            <shard>
                <replica>
                    <host>business-data-0002</host>
                    <port>9000</port>
                </replica>
            </shard>
            </cluster_3shards_1replicas>

        <!-- 1分片2备份 -->
        <cluster_1shards_2replicas>
            <shard>
                <internal_replication>false</internal_replication>
                <replica>
                    <host>business-data-0001</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>business-data-0002</host>
                    <port>9000</port>
                </replica>
            </shard>
        </cluster_1shards_2replicas>

        <!-- 2分片2备份：使用表备份-->
        <cluster_3shards_2replicas>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>business-data-0001</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>business-data-0002</host>
                    <port>9001</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>business-data-0002</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>business-data-0001</host>
                    <port>9001</port>
                </replica>
            </shard>
        </cluster_3shards_2replicas>
    </clickhouse_remote_servers>

    <!-- 这里表示的是在 business-data-0001 机器上的 01 分片的副本 -->
    <macros>
        <layer>01</layer>
        <shard>01</shard>
        <replica>business-data-0001</replica>
    </macros>

    <!-- 配置 ZK 保证高可用 -->
    <zookeeper-servers>
        <node index="1">
            <host>192.168.4.193</host>
            <port>2181</port>
        </node>
        <node index="2">
            <host>192.168.4.137</host>
            <port>2181</port>
        </node>
    </zookeeper-servers>

    <networks>
        <ip>::/0</ip>
    </networks>

    <clickhouse_compression>
        <case>
            <min_part_size>10000000000</min_part_size>
            <min_part_size_ratio>0.01</min_part_size_ratio>
            <method>lz4</method>
        </case>
    </clickhouse_compression>
</yandex>

cp metrika1.xml metrika2.xml
vim metrika2.xml

<!-- 第一台机器上的第二个实例 -->
<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>business-data-0001</replica>
</macros>

<!-- 第二台机器上的第一个实例 -->
<macros>
    <layer>01</layer>
    <shard>02</shard>
    <replica>business-data-0002</replica>
</macros>

<!-- 第二台机器上的第二个实例 -->
<macros>
    <layer>01</layer>
    <shard>01</shard>
    <replica>business-data-0002</replica>
</macros>

根据以上配置即可完成在两台机器上互有分片的副本

8. 修改启动文件

vim /etc/init.d/clickhouse-server

CLICKHOUSE_BINDIR=/usr/bin
CLICKHOUSE_CRONFILE=/etc/cron.d/clickhouse-server
# 修改为对应的配置文件名
CLICKHOUSE_CONFIG=$CLICKHOUSE_CONFDIR/config1.xml
LOCKFILE=$LOCALSTATEDIR/$PROGRAM
RETVAL=0
CLICKHOUSE_PIDDIR=/var/run/$PROGRAM
# 修改为 $PROGRAM-1.pid
CLICKHOUSE_PIDFILE="$CLICKHOUSE_PIDDIR/$PROGRAM-1.pid

mv /etc/init.d/clickhouse-server /etc/init.d/clickhouse-server1
# 按照上面的配置修改配置项
cp /etc/init.d/clickhouse-server /etc/init.d/clickhouse-server2

9. 配置启动项并启动实例

cd /etc/init.d/
chkconfig --add clickhouse-server1
chkconfig --add clickhouse-server2
chkconfig --list

# 启动服务
systemctl start clickhouse-server1
systemctl start clickhouse-server1

# 通过命令查看服务状态是否启动正常
systemctl status clickhouse-server1 -l
systemctl status clickhouse-server1 -l

# 到日志目录查看是否启动成功，日志目录是否有日志输出
ll /disk/data01/clickhouse/logs

10. 通过客户端登录

# 没有配置密码，直接登录
# 这里建议不论是 QA，Pred，Prod 都把密码配置上
clickhouse-client

# 查看查询是否成功
select * from system.clusters;

11. 补充：

此种配置方式优点在于节省服务器成本，缺点在于clickhouse对于复杂查询本身占用CPU比较多，多一个服务器同时运行多个实例，可能会对性能造成一定影响。

Tianyi_1998
关注
专栏目录
MongoDB搭建高可用集群的完整步骤（3个分片+3个副本）
12-16
在本文中，我们将探讨如何搭建一个高可用的MongoDB集群，包括3个分片和3个副本集，确保数据的高可用性和容错性。 首先，我们需要规划网络端口和IP地址。在给出的架构图中，每个副本集由3个节点组成，每个节点都有一...
ClickHouse高可用集群分片-副本实操(四)
点滴记忆，分享成长之路
02-25 2375
数据分片-允许多台机器/节点同并行执行查询，实现了分布式并行计算分片间的数据是不同的，不同的服务器存储同一张表的不同部分,作用是为了水平切分表,缓解单节点的压力。
clickhouse 三种高可用方案
robinhunan的博客
11-14 5022
在clickhouse高可用实现中，通常会通过LB方式使每台服务器能够均匀的接受到客户端的请求，另外一点就是在其中一台服务发生故障，仍然能通过故障转移方式正常对外提供服务。
ClickHouse高可用架构测试
最新发布
m0_58557478的博客
08-05 664
现状：安装的是单节点。 规划：改为多节点。则单点服务改多点服务，则避免单个点断开后整个服务器重启。现在用的虚拟机1T，计划改为固态硬盘，则性能更好。 执行：运维已搭建，测试时运行etl作业观察节点间是否影响。
Centos 6.4 / ClickHouse高可用集群配置
u013205003的专栏
02-21 5050
ClickHouse高可用集群配置 参考如下文档：  ClickHouse高可用集群的配置：    https://www.cnblogs.com/freeweb/p/9352947.html   副本表以及分布式表简单实践 :  https://www.cnblogs.com/leodaxin/p/10023641.html  ClickHouse之集群搭建以及数据复制：https://...
ClickHouse高可用和故障切换
lang830349821的博客
04-27 745
ClickHouse支持多种高可用和故障切换方案。例如，可以使用复制表来实现数据的高可用性。复制表可以在多个服务器上存储相同的数据，当一个服务器发生故障时，其他服务器仍然可以提供服务。此外，还可以使用ZooKeeper来管理复制表的元数据，以便在故障发生时自动切换到可用的服务器。 也可以使用负载均衡器来实现故障切换。负载均衡器可以将客户端请求分发到多个服务器，当一个服务器发生故障时，负载均衡器会自动将请求转发到其他可用的服务器。
clickhouse 超底层原理 + 高可用实操 （史上最全）
热门推荐
架构师尼恩
09-22 2万+
文章很长，建议收藏起来慢慢读！ 总目录 博客园版 为大家准备了更多的好文章！！！！尼恩Java面试宝典，34个最新pdf，含2000多页，不断更新、持续迭代 具体详情，请点击此链接这段时间给大家 做简历指导，发现大家都缺少优质实操项目，所以打算介绍一个《100W级别qps日志平台实操》，基于clickhouse+netty，于是，就写了此文此文设计到大量的底层原理，和高并发的实操知识，建议大家慢慢读，并且强烈建议大，对着此文，实操一下。例如mysql。擅长事务处理，在数据操作中保持着很强的一致性和原子性 ，
高可用性：ClickHouse高可用性架构与实现
程序员光剑
01-21 1341
1.背景介绍 1. 背景介绍 ClickHouse 是一个高性能的列式数据库管理系统，主要用于实时数据处理和分析。由 Yandex 开发，ClickHouse 已经被广泛应用于各种领域，如网站日志分析、实时监控、实时报告等。 高可用性是 ClickHouse 系统的关键要素之一。在生产环境中，高可用性可以确保系统的持续运行，从而提高业务的稳定性和可靠性。为了实现高可用性，ClickHouse...
clickhouse集群配置.zip
12-26
下面将详细介绍如何根据给定的"clickhouse集群配置.zip"文件进行集群搭建。 首先，我们需要了解ClickHouse集群的基本架构。ClickHouse集群是由多个节点组成的，每个节点可以是服务器上的一个实例。节点之间通过网络...
clickhouse 搭建流程
08-18
在实际部署中，可能还需要考虑网络配置、数据分区策略、数据复制和高可用性设置。例如，配置副本数量以确保数据冗余，使用Zookeeper进行集群管理，以及设置负载均衡和故障转移策略。此外，监控和性能调优也是必不可...
clickhouse资料
02-14
8. **高可用性**：了解如何搭建ClickHouse集群，实现数据复制和故障转移，确保服务的稳定运行。 《ClickHouse知识讲解PPT.pptx》则可能包含更直观、易懂的图表和示例，帮助读者快速掌握ClickHouse的关键点，例如： ...
ClickHouse笔记.pdf
09-23
- **易于管理**：虽然列式数据库在管理上有其特殊性，但ClickHouse通过简单配置即可搭建起高性能的分析平台。 #### 缺点 - **资源消耗大**：由于其设计特点，需要较大的内存作为缓存，对硬件的要求相对较高。 - **...
深入理解ClickHouse 的高性能与高可用原理
林木森的博客
04-11 1614
列式存储方式使得 ClickHouse 特别适合执行分析查询，因为它可以仅读取查询所需的列，从而大大减少数据的读取量。ClickHouse 可以在多个节点上并行处理查询，这不仅提高了查询的处理速度，也增加了系统的容错能力。这些设计和优化措施结合起来，使得 ClickHouse 特别适合处理大规模数据集上的复杂分析查询，提供了出色的性能和高效的数据处理能力。在一个集群中，数据可以被复制到多个节点，确保即使在某个节点失败的情况下，数据也不会丢失，并且服务仍然可用。ClickHouse 的。
ClickHouse集群搭建：实现高可用与负载均衡
程序员光剑
02-22 391
1.背景介绍 在大数据时代，数据的存储和处理成为了企业的核心竞争力。ClickHouse是一款开源的列式存储数据库，它以其高效的查询性能和良好的扩展性在业界得到了广泛的应用。然而，如何搭建一个高可用、负载均衡的ClickHouse集群，却是许多开发者面临的挑战。本文将详细介绍ClickHouse集群的搭建过程，以及如何实现高可用和负载均衡。
clickhouse高可用&可拓展部署
weixin_41745141的博客
07-05 943
本文介绍了clickhouse的高可用和可扩展架构的部署
clickhouse高可用集群部署
marry44750的博客
04-20 996
一、集群方案及表引擎选用   目的是搭建一套3分片1副本的高可用集群，因此使用ReplicatedMergeTree + Distributed方案。ReplicatedMergeTree用于复制表，副本间同步数据，Distributed做分布式表，用于数据写入和查询。 二、逻辑部署图 三、部署细节 1、分片设置 port端口为ck中配置的tcp_port，用于集群间通信 <shard> <internal_replication>true</internal_repl
ClickHouse安装配置及表引擎使用
数据科学汇集
05-09 1668
Clickhouse集群安装及表引擎使用案例
ClickHouse的高可用性与容错策略
程序员光剑
01-25 1071
1.背景介绍 1. 背景介绍 ClickHouse 是一个高性能的列式数据库，用于实时数据处理和分析。它的高性能和实时性能使得它在各种场景中得到了广泛应用，例如实时监控、日志分析、实时报表等。 在生产环境中，为了确保 ClickHouse 的高可用性和容错性，需要采用一定的高可用性和容错策略。这篇文章将深入探讨 ClickHouse 的高可用性与容错策略，并提供一些实际的最佳实践。 2. ...
clickhouse集群搭建
04-10
下面是ClickHouse集群搭建的一般步骤： 1. 安装ClickHouse：在每个节点上安装ClickHouse软件包。可以通过源码编译安装或者使用预编译的二进制包。 2. 配置ClickHouse：在每个节点上编辑ClickHouse的配置文件，主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值