clickhouse集群安装

已于 2022-06-05 14:12:42 修改
阅读量1.5k 收藏 3
点赞数
分类专栏： clickhouse 文章标签： 服务器 linux 运维
于 2022-06-05 09:47:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pang_2899/article/details/125128598
版权

环境介绍
准备四台服务器搭建clickhouse集群，（创建两个分片，每个分片一个副本）
在任意三台服务器上安装zookeeper 服务，clickhouse集群依赖zookeeper进行服务器之间的数据同步。

192.168.1.1 ch1.test.com ch1
192.168.1.2 ch2.test.com ch2
192.168.1.3 ch3.test.com ch3
192.168.1.4 ch4.test.com ch4

目录结构设计
1、配置文件的默认目录为/etc/clickhouse-server/
2、数据库数据目录设置为/data/clickhouse/
3、数据库日志的目录设置为/data/clickhouse/

#zookeeper 集群的安装

1、安装zookeeper 集群

1、安装jdk
https://www.oracle.com/java/technologies/downloads/
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

2、优化jdk
3、安装zookeeper
4、使用systemctl 管理zookeeper服务
[Unit]
Description=Zookeeper service
After=network.target

[Service]
Type=simple
User=root
Group=root
ExecStart=/usr/local/zookeeper363/bin/zkServer.sh start
ExecStop=/usr/local/zookeeper363/bin/zkServer.sh stop
Restart=on-failure

[Install]
WantedBy=multi-user.target

下载最新的稳定版
https://packages.clickhouse.com/rpm/stable

wget https://packages.clickhouse.com/rpm/stable/clickhouse-client-21.8.13.6-2.noarch.rpm
wget https://packages.clickhouse.com/rpm/stable/clickhouse-common-static-21.8.13.6-2.x86_64.rpm
wget https://packages.clickhouse.com/rpm/stable/clickhouse-common-static-dbg-21.8.13.6-2.x86_64.rpm
wget https://packages.clickhouse.com/rpm/stable/clickhouse-server-21.8.13.6-2.noarch.rpm

安装clickhouse

yum localinstall *.prm
或则
rpm -ivh *.rpm

关闭防火墙并检查环境依赖

关闭防火墙
systemctl stop firewalld.service
关闭开机启动防火墙
systemctl disable firewalld.service

设置主机名

hostnamectl --static set-hostname ch1.test.com
验证主机名设置是否生效
hostname -f
ch1.test.com

最后需要配置hosts 文件，配置后的效果如下：
#cat /etc/hosts
192.168.1.1 ch1.test.com ch1
192.168.1.2 ch2.test.com ch2
192.168.1.3 ch3.test.com ch3
192.168.1.4 ch4.test.com ch4

修改配置文件 文件句柄数量

vim /etc/security/limits.d/clickhouse.conf 文件句柄数量的配置

clickhouse soft nofile 262144
clickhouse hard nofile 262144

改配置也可以通过config.xml 的max_open_files参数指定。

设置计划任务 用于恢复因异常原因中断的clickhouse 服务进程，其默认的配置如下

more /etc/cron.d/clickhouse-server
#*/10 * * * * root ((which service > /dev/null 2>&1 && (service clickhouse-server condstart ||:)) || /etc/init.d/clickhouse-server condstart) > /dev/null
2>&1

设置目录权限

chown -R clikchouse.clickhouse /data/clickhouse

修改配置文件xml格式（关键参数说明）

主配置文件config.xml
用户级别的配置文件user.xml

文件注释

说明： 用户及请求相关的设置需要配置在user.xml文件中，如果配置在config.xml,用户相关的配置如果配置到config.xml文件中，服务就无法启动。

NOTE: User and query level settings are set up in “users.xml” file.
If you have accidentally specified user-level settings here, server won’t start.
You can either move the settings to the right place inside “users.xml” file
or add <skip_check_for_incorrect_settings>1</skip_check_for_incorrect_settings> here

日志设置
在这里插入图片描述
端口说明：

  • HTTP：8123端口：使用ODBC、JDBC（DataGrip、Dbeaver） 等驱动和一些web接口如embedded UI 、grafana、redash等都需要链接http 8123端口。

  • TCP 9000 ： clickhouse的原生工具需要链接9000端口。
    ClickHouse -client和其他本地ClickHouse工具(ClickHouse -benchmark, ClickHouse - copy);
    clickhouse-server与其他clickhouse-server进行分布式查询处理;
    ClickHouse驱动程序和应用程序支持本机协议
    (该协议也被非正式地称为“TCP协议”);

  • TCP 9004 ： clickhouse 使用此端口把自己伪装成mysql；

  • TCP 9005 ： clickhouse 使用此端口把自己伪装成postgresSQL；

  • https 8443 ： 支持使用https

  • <listen_host>::</listen_host> – 监听本机上的所有ipv6 地址
    <listen_host>0.0.0.0</listen_host> – 监听本机上的所有ipv4地址

    监听指定的ip
    <listen_host>127.0.0.1</listen_host>
    <listen_host>10.205.110.37</listen_host>

    并发量比较大时，需要优化此参数，等待链接的数量。
    <listen_backlog>128</listen_backlog>
    最大链接数量
    <max_connections>4096</max_connections>

** http 1.1 保持链接时间**
<keep_alive_timeout>3</keep_alive_timeout>

最大并发链接数
<max_concurrent_queries>400</max_concurrent_queries>

内存设置
<max_server_memory_usage>0</max_server_memory_usage>
如果此次设置为0，可用内存的大小由参数"max_server_memory_usage_to_ram_ratio" * 可用物理内存的大小。
Default is “max_server_memory_usage_to_ram_ratio” of available physical RAM.
If the value is larger than “max_server_memory_usage_to_ram_ratio” of available physical RAM, it will be cut down。如果使用的内存量大于可用内存时，clickhouse-server服务进程就会杀掉。

<max_thread_pool_size>10000</max_thread_pool_size>
最大线程池的大小。

设置最大使用可用物理内存的比例：
<max_server_memory_usage_to_ram_ratio>0.7</max_server_memory_usage_to_ram_ratio>

设置数据存放目录
/export/clickhouse/

设置临时数据目录
<tmp_path>/export/clickhouse/tmp/</tmp_path>

由’file’引擎表函数可访问的用户提供文件的目录。

<user_files_path>/var/lib/clickhouse/user_files/</user_files_path>

<remote_servers>

集群的名字test_shard_localhost

    <test_shard_localhost>  
        <shard>
            <!-- Optional. Whether to write data to just one of the replicas. Default: false (write data to all replicas). -->
            **可选的。是否只向一个副本写入数据。默认值:false(写入所有副本)。**
            <internal_replication>true</internal_replication> -->
            <!-- **数据写入改分片的权重** -->
            <!-- <weight>1</weight> -->
            <replica>
                <host>localhost</host>
                <port>9000</port>
                <!-- Optional. Priority of the replica for load_balancing. Default: 1 (less value has more priority)可选的。load_balancing副本的优先级。缺省值:1(值越小优先级越高). -->
                <!-- <priority>1</priority> -->
            </replica>
        </shard>
    </test_shard_localhost>
    <test_cluster_two_shards_localhost>
         <shard>
             <replica>
                 <host>localhost</host>
                 <port>9000</port>
             </replica>
         </shard>
         <shard>
             <replica>
                 <host>localhost</host>
                 <port>9000</port>
             </replica>
         </shard>
    </test_cluster_two_shards_localhost>
    <test_cluster_two_shards>
        <shard>
            <replica>
                <host>127.0.0.1</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <replica>
                <host>127.0.0.2</host>
                <port>9000</port>
            </replica>
        </shard>
    </test_cluster_two_shards>
    <test_cluster_two_shards_internal_replication>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>127.0.0.1</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>127.0.0.2</host>
                <port>9000</port>
            </replica>
        </shard>
    </test_cluster_two_shards_internal_replication>
    
    <open_service_cluster>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>ch1.test.com</host>
                <port>9000</port>
            </replica>

            <replica>
                <host>ch2.test.com</host>
                <port>9000</port>
            </replica>
        </shard>
        <shard>
            <internal_replication>true</internal_replication>
            <replica>
                <host>ch3.test.com</host>
                <port>9000</port>
            </replica>
            <replica>
                <host>ch4.test.com</host>
                <port>9000</port>
            </replica>
        </shard>
    </haigeek_open_service_cluster>
</remote_servers>

zookeeper设置

<zookeeper>
    <node>
        <host>ch1.test.com</host>
        <port>2181</port>
    </node>
    <node>
        <host>ch1.test.com</host>
        <port>2181</port>
    </node>
    <node>
        <host>ch1.test.com</host>
        <port>2181</port>
    </node>
</zookeeper>

给服务器设置一个集群内的喂一次标识
第一台服务器

<macros>
    <shard>01</shard>
    <replica>app-01-1</replica>
</macros>

第二台服务器

 <macros>
    <shard>01</shard>
    <replica>app-01-2</replica>
</macros>

第三台服务器

<macros>
    <shard>02</shard>
    <replica>app-02-1</replica>
</macros>

第四台服务器

 <macros>
    <shard>02</shard>
    <replica>replica-02-2</replica>
</macros>
行走在云端z
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Clickhouse集群安装部署
HiterCoder
03-01 1150
相关知识参考：https://www.cnblogs.com/jmx-bigdata/p/13708835.html 1、Clickhouse集群安装部署，首先安装单机版，可参考之前：https://www.cnblogs.com/biehongli/p/14364802.html，我是先安装了一台虚拟机，然后克隆了两台机器，所以，克隆完成，配置好ip地址，三台服务器的Clickhouse就安装...
详解 ClickHouse 的分片集群
weixin_44480009的博客
06-22 1760
分片功能依赖于 Distributed 表引擎，Distributed 表引擎本身不存储数据，有点类似于 MyCat 之于 MySql，成为一种中间件，通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据ClickHouse 进行分片集群的目的是解决数据的横向扩容，通过分片把一份完整的数据进行切分，不同的分片分布到不同的节点上，再通过 Distributed 表引擎把数据拼接起来一同使用。
Clickhouse 集群安装(完整版)
@羲凡—只为更好的活着
01-19 4466
@羲凡——只为了更好的活着 Clickhouse 集群安装(完整版) 前期准备 安装zookeeper 集群步骤 1.先安装四个单机的clickhouse 2.在四台机器上新建 /etc/metrika.xml 文件，生成两分片两副本集群 一、安装单机clickhouse(四台都操作,以Centos为例) 官网Centos/Ubuntu/Docker安装 1.1.在线安装 yum install yum-utils rpm --import https://repo.clickhouse.tech/CLIC
ClickHouse安装（集群版）
Button的博客
02-06 1494
ClickHouse安装（集群版）
clickhouse 集群安装以及要点
weixin_45417821的博客
08-20 411
文章目录分片集群分片 2 副本共 6 个节点集群配置（供参考）配置三节点版本集群及副本集群及副本规划（2 个分片，只有第一个分片有副本）配置步骤1）在 Bigdata04的/etc/clickhouse-server/config.d 目录下创建 metrika-shard.xml 文件2）将 Bigdata04的 metrika-shard.xml 同步到 Bigdata05 和 Bigdata063）修改 Bigdata05 和 Bigdata06 中 metrika-shard.xml 宏的配置 分片
clickhouse集群部署
07-17
clickhouse集群安装脚本——贵宾版。 可以自行修改，简洁易用。 实验证明，所部署的clickhouse集群具备高可用和稳定性。 注意！！！下载后3个月内提供免费维护！！！
clickhouse集群配置.zip
12-26
在配置ClickHouse集群时，理解其核心概念和步骤至关重要。下面将详细介绍如何根据给定的"clickhouse集群配置.zip"文件进行集群搭建。 首先，我们需要了解ClickHouse集群的基本架构。ClickHouse集群是由多个节点组成...
ClickHouse集群应用.docx
最新发布
07-24
### ClickHouse集群应用知识点 #### 一、列式库简介 - **定义**: ClickHouse是由俄罗斯Yandex公司于2016年开源的一款列式存储数据库管理系统(DBMS)。 - **用途**: 主要用于OLAP(在线分析处理)查询,支持SQL语言,...
ClickHouse 集群配置文件.rar
05-25
本压缩包文件包含了 ClickHouse 集群配置的关键文件，这些文件对于理解和设置 ClickHouse 集群至关重要。 1. **config.xml**：这是 ClickHouse 的主配置文件，用于定义服务器的行为和参数。以下是一些关键配置项： ...
clickhouse集群部署说明-ck集群
04-17
clickhouse集群部署说明-ck集群，clickhouse 集群部署以及建表语句，分布式
Clickhouse 集群安装
涛博客
05-25 449
目录一、下载rpm文件二、安装三、配置四、启停 本文讲解ClickHouse 集群搭建。 一、下载rpm文件 1、下载地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/ 下载最新的版本： clickhouse-common-static-dbg-21.5.5.12-2.x86_64.rpm clickhouse-common-static-21.5.5.12-2.x86_64.rpm clickhouse-server-21.5.5.12-2.n
Clickhouse集群模式安装
weixin_44378305的博客
07-23 5083
Clickhouse集群模式安装前言1.集群节点信息2.搭建zookeeper集群3.搭建clickhouse集群 前言 安装clickhouse集群模式前需得安装zookeeper集群 1.集群节点信息 1.1.1.11 node1 1.1.1.12 node2 1.1.1.13 node3 2.搭建zookeeper集群 安装zookeeper前，先安装jdk # 下载 zookeeper-3.4.12.tar.gz 安装包，并上传至三台服务器 tar -zxvf zookeeper-3.4.12
Clickhouse 集群部署安装
爱摄影的小章同学的博客
07-20 2449
clickhouse 集群搭建部署
ClickHouse集群安装与部署
wanjialin的博客
06-06 3771
ClickHouse是Yandex于2016年开源的列式存储数据库(DBMS)，主要用于在线分析处理查询(OLAP)，能够使用SQL查询实时生成分析数据报告。从名字就能了解ch代表clickhouse，proxy为代理，即专为clickhouse使用的代理。在clickhouse集群中，每一台机器都是单独的实例，我们可以使用其中的一台作为查询机器。此时如何更好的完成负载均衡是我们所关注的，chproxy即是这么一个工具。选择一台服务器安装该程序即可。
clickhouse集群安装部署
u014650965的博客
04-18 2365
安装zookeeper集群 主机名 IP地址 zk01 192.168.124.81 zk02 192.168.124.82 zk03 192.168.124.83 zookeeper安装 三个节点进行相同配置 配置hosts vim /etc/hosts 192.168.124.81 zk01 192.168.124.82 zk02 192.168.124.83 zk03 关闭防火墙 systemctl stop firewalld systemctl disable .
Clickhouse集群集群安装
wxc20062006的专栏
02-17 1065
1.环境信息： [root@bigdata003 clickhouse-server]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) 2. 在/etc/hosts中添加主机信息 10.29.35.240 bigdataxxx3 10.29.35.241 bigdataxxx4 10.29.35.243 bigdataxxx5 3.关闭防火墙和selinux 4. 修改linux文件限制参数 5. 安装和删除clickhou
ClickHouse 集群
05-25
ClickHouse是一个开源的面向列式存储的分布式数据库管理系统，它专为OLAP场景设计。ClickHouse集群是由多个ClickHouse节点组成，每个节点可以独立地提供服务，也可以通过复制和分区技术，构建出高可用、高性能、可扩展的分布式数据库系统。 ClickHouse集群的主要特点包括： 1. 分布式：ClickHouse集群可以水平扩展，支持添加和删除节点，实现高可用和高性能。 2. 面向列式存储：ClickHouse采用列式存储，可以更高效地处理大量数据。 3. 高性能：ClickHouse针对OLAP场景进行了优化，支持高并发查询和低延迟响应。 4. 多样的数据源支持：ClickHouse支持多种数据源，包括文本文件、CSV文件、JSON文件、Kafka、MySQL等。 5. 灵活的查询语言：ClickHouse支持类SQL语言，可以进行各种复杂的查询和聚合操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值