clickhouse（一）两分片两副本集群搭建

已于 2023-11-08 10:46:58 修改
阅读量3.4k 收藏 11
点赞数 1
分类专栏： 大数据 文章标签： 数据仓库 clickhouse
于 2021-08-08 23:36:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Interest1_wyt/article/details/119294130
版权

最近工作中遇到了clickhouse副本存储的问题，所以准备搭建一套clickhouse集群研究下，这里将搭建的过程和遇到的坑记录下，便于以后使用。下面是集群的大致分布以及具体的搭建流程。

1、准备两台虚拟机，分别安装clickhouse的服务端和客户端

准备的虚拟机是centos7。这里的安装过程是纯粹拷贝的官网命令，首先 验证虚拟机是否支持clickhouse的安装：
        grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
其次，安装clickhouse需要的依赖：
        sudo yum install yum-utils
        sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
        sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64
最后，一条语句安装clickhouse的服务端和客户端：
        sudo yum install clickhouse-server clickhouse-client
官网还有更多安装方式（参考地址：https://clickhouse.tech/docs/en/getting-started/install/），特别是如果最后一条安装客户端服务端命令失败时，可以直接下载对应的rpm包，常见的下载client、server、common三个包，因为正常yum命令安装也是安装这三个包，官网点击位置如下：

下载的样例如下：

下载完后，rpm安装命令如下：
        rpm -ivh clickhouse-common-static-21.7.2.7-2.x86_64.rpm clickhouse-client-21.7.2.7-2.noarch.rpm clickhouse-server-21.7.2.7-2.noarch.rpm
安装时，可能会需要输入默认用户的密码，一般是为空直接回车，如果设置了也没事，可以在安装完成后进入/etc/clickhouse-server/users.d/目录下，删除里面的文件即可。

2、启动和验证

这里仅是用于启动和验证刚才安装的服务是否可用，集群的验证在集群搭起来后进行。完成后，使用官网命令启动服务：
        clickhouse-server --config-file=/etc/clickhouse-server/config.xml
这个命令会把clickhouse-server进程的信息持续打印在当前窗口，如果报用户权限问题，如下：
        Effective user of the process (root) does not match the owner of the data (clickhouse). Run under 'sudo -u clickhouse'
可以进入/var/lib/目录，通过如下命令修改文件的访问权限为root（我测试用的是root，所以这块要看不同人的配置）。
        chown -R root:root  /var/lib/clickhouse
其实报错中还提示了一种解决方式就是通过sudo命令切换账号，但是我切换后，有些root可以访问的文件是clickhouse用户访问不了，所以我采用了修改clickhouse相关文件的访问用户为root的方式。所以如果启动没报错，可以另开一个窗口，输入clickhouse-client看看能否正确进入客户端。另外如果嫌弃上述启动clickhouse服务的方式需要占用一个命令窗不安全和方便，可以通过在命令后添加 --daemon 参数来设置linux服务器后来启动clickhouse-server

这里再说一个坑，就是使用sytemctl命令启动服务：
        systemctl start clickhouse-server
单节点单实例这个命令不会有任何问题，也就是不会出现上面所说的用户访问权限问题，但是单节点多实例，这个命令就会出现用户组和用户的权限问题。所以该命令方式尽量慎用，尽量采用官网推荐方式（具体原因好像和systemctl的机制有关，后面有时间再研究）

最后验证结束即可关闭运行窗口，开始进行后续的多实例集群配置。

3、安装zookeeper集群
clickhouse对zookeeper的依赖很重，所以必须要有zookeeper集群。
因为之前三个节点已经有zk集群，所以这里我没有专门安装部署，如果没部署可以任意搜篇文章参考部署（下面我简述下自己zk的配置，用于以后个人参考，大家如果看着条理不清晰，建议上网查专门的文章参考）。
zk的安装部署很简单，主要是下载对应的包，然后解压，重命名zoo.cfg文件，在配置末尾加上集群信息（这里我用的是host映射方式，没有直接写ip）：
        server.1=bigdata.node1:2888:3888
        server.2=bigdata.node2:2888:3888
        server.3=bigdata.node3:2888:3888
最后再zoo.cfg中 dataDir=*** 指定的目录下创建myid文件，里面加上zk节点的序号，注意每个节点都不一样。
另外如果想修改zk的日志存储地址，可以修改log4j.properties中的相关属性配置

4、修改配置文件

clickhouse-server的配置文件一般有两个，都位于/etc/clickhouse-server目录下，名称分别为config.xml，users.xml，后者用于配置clickhouse的账号密码等用户访问权限，前者则是配置除此外的其它所有配置。这里不准备修改用户账号信息，所以不准备修改users.xml文件，下面仅仅是修改config.xml文件。

另外，网上很多文章配置集群时都会新建一个metrika.xml文件，这是因为在config.xml中可以使用<include_from>标签引入外部XML文件的配置，如集群、ZooKeeper配置等，并在其他标签中使用incl属性直接引用之（千万要记得用incl属性引入，仅仅用<include_from>标签引入不会生效）。但这并非强制的规范，我这里为了减少配置的文件数，所以都是直接在config.xml中配置。

为了防止浏览配置文件不清晰主机名，这里提一下，我个人大数据集群有node1、node2、node3三个节点，后两个节点用来安装的clickhouse双分片双副本集群。

这里首先在每个节点通过
        cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config2.xml
命令生成第二个实例的配置文件，配置的内容主要由三块，分别是：

4.1、日志、数据存储路径以及各种端口号
这些内容在单节点单实例集群中其实不用修改，单节点多实例为了避免冲突，所以需要配置一下：

节点1（节点2的config.xml与这个相同） config.xml
    <logger>
        <level>trace</level>
        <log>/var/log/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>10</count>
    </logger>

    <http_port>8123</http_port>
    <tcp_port>9001</tcp_port>
    <mysql_port>9004</mysql_port>
    <postgresql_port>9005</postgresql_port>
    <interserver_http_port>9009</interserver_http_port>
    <listen_host>::</listen_host>
    <path>/var/lib/clickhouse/</path>
    <tmp_path>/var/lib/clickhouse/tmp/</tmp_path>
    <user_files_path>/var/lib/clickhouse/user_files/</user_files_path>

节点1（节点2的config2.xml与这个相同） config2.xml
    <logger>
        <level>trace</level>
        <log>/var/log/clickhouse-server2/clickhouse-server.log</log>
        <errorlog>/var/log/clickhouse-server2/clickhouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>10</count>
    </logger>

    <http_port>8124</http_port>
    <tcp_port>9002</tcp_port>
    <mysql_port>9010</mysql_port>
    <postgresql_port>9011</postgresql_port>
    <interserver_http_port>9012</interserver_http_port>
	<listen_host>::</listen_host>
    <path>/var/lib/clickhouse2/</path>
    <tmp_path>/var/lib/clickhouse2/tmp/</tmp_path>
    <user_files_path>/var/lib/clickhouse2/user_files/</user_files_path>

这里需要留意的是两个点，一个是端口的设置，设置端口前可以用lsof -i:port命令来查端口使用情况。如果没有任何提示信息则表明端口未被使用。另一个要留意的则是config2.xml中新增了/var/lib/clickhouse2文件夹和/var/log/clickhouse-server2文件夹，如果启动的时候报文件夹不存在或上述的用户访问权限问题，则可以先通过mkdir以及chown -R命令来创建和更改文件访问用户。我是先建立的文件夹然后再更改用户访问，所以启动的时候没有遇到访问限制。

4.2、clickhouse和zookeeper集群配置
这里需要留意的是clickhouse副本和分片的定义问题，通过配置可以看到，分片shard里面直接就是副本replica的信息，简单理解为分片由副本组成，所以双分片双副本也可以简单看做两分片一副本。

所有配置文件中相同
    <remote_servers>
      <!-- 集群名称，可以自定义修改 -->
      <ck_2shard_2replica_cluster>
		<shard>
                <!-- 每个分片的写入权重值，数据写入时会有较大概率落到weight值较大的分片，这里全        
                     部设为1,即所有分片写入的概率相同 -->
                <weight>1</weight>
                <!-- 是否启用内部复制。true 代表写入数据时选择第一个健康的副本进行写入，其余
				副本以该表本身进行复制，保证复制表的一致性。false(默认) 代表将数据直接写入所
				有副本，如果有节点数据出现不一致，将不会自动修复 -->
                <internal_replication>true</internal_replication>
                <replica>
                    <host>node2</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>node3</host>
                    <port>9002</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
			<shard>
                <weight>1</weight>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>node3</host>
                    <port>9001</port>
                    <user>default</user>
                    <password></password>
                </replica>
                <replica>
                    <host>node2</host>
                    <port>9002</port>
                    <user>default</user>
                    <password></password>
                </replica>
            </shard>
	  </ck_2shard_2replica_cluster>
    </remote_servers>
    <zookeeper>
        <node>
            <host>node1</host>
            <port>2181</port>
        </node>
        <node>
            <host>node2</host>
            <port>2181</port>
        </node>
        <node>
            <host>node3</host>
            <port>2181</port>
        </node>
    </zookeeper>

4.3、宏定义
可以简单理解为一种全局变量，使用时可以仅使用变量名，clickhouse服务器会替换成我们设定的变量值，目前用的最多的就是定义分片副本宏变量，然后再创建副本表时使用。

节点1 config.xml
    <!-- 宏定义,子标签有：
	         1、{layer} - ClickHouse集群的昵称，用于区分不同集群之间的数据。
			 2、{shard} - 分片编号或符号引用。
			 3、{replica} - 副本的名称（唯一），通常与主机名匹配,macros为可选定义。
	-->
    <macros>
        <shard>01</shard>
        <replica>01-1</replica>
    </macros>
节点1 config2.xml
    <macros>
        <shard>02</shard>
        <replica>02-2</replica>
    </macros>
节点2 config.xml
    <macros>
        <shard>02</shard>
        <replica>02-1</replica>
    </macros>
节点2 config2.xml
    <macros>
        <shard>01</shard>
        <replica>01-2</replica>
    </macros>

6、验证集群是否被定义好
每个节点分别执行下面两条命令，将4个实例启动起来：
        clickhouse-server --config-file=/etc/clickhouse-server/config.xml
        clickhouse-server --config-file=/etc/clickhouse-server/config2.xml

通过clickhouse-client --port 9001进入任一节点实例，通过如下命令查看已定义集群信息：
        select * from system.clusters;
出现下图则说明两分片两副本的集群正常定义和加载：

 7、验证集群副本能力

首先建立具有副本能力的ReplicatedMergeTree引擎表：
    create table goods3_cluster on cluster ck_2shard_2replica_cluster(
        id int,
        name String,
        price int
    )ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/goods3_cluster','{replica}')
    ORDER BY id
然后插入一条测试数据：
     insert into goods3_cluster values(1,'92号牛奶',88)
在当前节点查询：

在另一节点副本实例上查询：

我们在一个节点插入数据，对应的副本上同样会有数据，可以看到集群的功能已经基本正常。

参考文章：
clickhouse安装部署详细步奏，让你学习之路少走坑_clickhouse tar包部署-CSDN博客
ClickHouse高可用集群的安装与部署 - 简书

Interest1_wyt
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一种新的两分类型BOM的设计与应用
10-26
提出一种按照原材料和中间产品进行分类的物料清单设计方法，描述了用TCBOM表达产品结构的设计细节和实现概要，论述了用XML导入导出TCBOM数据的原理及在物料需求计算逻辑中利用TCBOM生成物料采购计划和生产指令计划...
程序设计ch补充例题PPT幻灯片.pptx
11-13
这是一个组合问题，通过两层嵌套循环遍历所有可能的一分、两分、五分硬币数量组合，检查是否能组成一元钱。使用变量`n`来计数方案总数，并每打印5行换行。 5. 打印星号图案： 通过两层循环打印出不同形状的星号...
clickhouse2分片2副本高可用集群搭建及chproxy代理配置使用
shy_snow的专栏
06-02 2425
clickhouse集群是表级别的，在节点层面上clickhouse每个节点都是独立的, 即使组成集群了也是独立的，所以永远只能连接到clickhouse的单节点上。可以类比redis，有点像是积木，可以按配置文件随意组装。只要各节点上安装clickhouse单机之后再配置config.xml和/etc/metrika.xml将其他节点的连接信息以及分片和副本情况配置好就可以了。
ClickHouse高可用集群搭建 2分片2副本
Jason_light的博客
10-21 1965
ClickHouse高可用集群搭建部署安装一、先安装zookeeper集群1、下载压缩包2、解压3、解压后的目录4、配置zoo.cfg:创建myid文件5、几个命令二、clickhouse集群安装1、下载安装包2、修改配置文件config.xmlmetrika.xmluserx.xml3、验证clickhouse-server9001.service：下一篇介绍clickhouse客户端可视化工具以及集群监控 部署安装 本人是基于以下机器 一、先安装zookeeper集群 因资源有限，在2台机器上部署3个z
clickhouse的集群部署
最新发布
ecloud_developer的博客
05-27 921
因为已经配置了zookeeper，所以创建表的DDL语句也会同步到其他节点上。任选一台机器，创建一个 ReplicatedMergeTree 引擎的测试表，测试 ZooKeeper 同步功能。不用也可以，但建议还是使用。配置文件是热更新的，所以修改配置后无需要重启服务，除非是首次启动 ClickHouse。，准备搭建一个3分片2副本集群，当然也可根据你自己实际情况选择机器数量。根据每台机器的分片副本，配置。（一定要看，本人亲自搭建过，一步一步来，不会有问题）如果集群部署成功，你会看到所有机器的信息。
ClickHouse三分片两副本集群部署
zhaizhai6_6的博客
07-18 453
ClickHouse 三分片两副本配置案例，包括 chproxy 的配置。
Clickhouse学习之路（五）-- 集群方案研究
BIackMamba的博客
08-16 1762
方案一：MergeTree + Distributed 架构图 架构解析： MergeTree + Distributed的分布式架构方案，利用的是Distributed表的特性+MergeTree表的特性，分布式表不存储数据，数据来自本地表，将分布式表的数据分为3个shard，每台节点存储三分之一的数据，用户查询的时候是从分布式表所在的节点聚合从Ck1，CK2，CK3的查询结果，然后返回用户，写入数据可以写入分布式表，当然这样的写入方式问题很多，一般是禁止写入分布式表的，那么选择写入本地表的化，需要将数
【ClickHouse】副本
qq_41466440的博客
12-10 210
ClickHouse 副本
ClickHouse学习笔记（五）：ClickHouse 副本与分片
u011047968的专栏
05-04 1817
第一种：从数据层面区分，假设 ClickHouse 的 N 个节点组成了一个集群，在集群的各个节点上，都有一张结构相同的数据 Y。如果 N1 的 Y 和 N2 的 Y 中的数据完全不同，则 N1 和 N2 互为分片；如果他们的数据完全相同，则他们互为副本。分片之间的数据是不同的，副本之间的数据是完全相同的。第二种：从功能作用层面区分，使用副本的主要目的是防止数据丢失，增加数据存储的冗余；而使用分片的主要目的是实现数据的水平切分。
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
shuyv的博客
01-04 1779
Clickhouse 三节点三分片六实例双副本部署，用户密码权限配置，cpu内存资源优化
ClickHouse集群多实例部署
FaN()
05-03 9815
ClickHouse多实例部署 本人刚接触ClickHouse两周, 难免有错误之处, 感谢指正. 另外一些参数我也不甚理解, 大家也可以先不必纠结参数, 先部署起来再说, 我的感触是部署后就会对整体结构有了一遍认识. 如果多实例都可以部署完毕, 那么生产单实例部署当然就不成问题了. 生产环境并不建议多实例部署, ClickHouse一个查询可以用到多个CPU, 本例只适用于测试环境 部署规划 ...
嘉善“两分两换”新农村框架下的警务模式一点思考.doc
09-19
嘉善“两分两换”新农村框架下的警务模式一点思考.doc
leetcode-Two-Pointers-2:两分球-2
06-29
在LeetCode平台上，"两分球-2"是一组与编程和算法相关的题目，主要涉及了"两分法"（Two-Pointers）这一经典算法思想。两分法是一种高效解决数组或链表问题的策略，它通过维护两个指针，一个从数组的起始位置开始，另...
基于曲率半径及两分搜索法的改进延拓法
01-15
针对这些问题，提出一种基于曲率半径及两分搜索法的改进延拓法。基于曲率半径的改进不仅在弯曲程度高的区域使平衡解流形的失真程度较小，而且在平坦区域具有较高的追踪速度；基于两分搜索法的改进简化了分岔点的搜索...
Centos 6.4 / ClickHouse高可用集群配置
u013205003的专栏
02-21 4681
ClickHouse高可用集群配置 参考如下文档：  ClickHouse高可用集群的配置：    https://www.cnblogs.com/freeweb/p/9352947.html   副本表以及分布式表简单实践 :  https://www.cnblogs.com/leodaxin/p/10023641.html  ClickHouse之集群搭建以及数据复制：https://...
ClickHouse集群搭建教程
zcs2312852665的博客
04-02 1916
本文介绍了CKman的部署和ClickHouse集群的搭建过程，包括准备环境、安装依赖、配置集群免密登录、部署CKman和ClickHouse等步骤。还介绍了如何使用Prometheus、Node Exporter监控工具以及Zookeeper等组件，并提供了MySQL和JDK的安装方法。最后，详细说明了在CKman中创建集群并进行监控配置的操作步骤。端口描述8808ckman管理平台端口2181zookeeper 客户端连接端口，用于客户端与Zookeeper集群进行通信的TCP/IP连接。
ClickHouse集群搭建
喜讯XiCent 的博客
11-15 4899
前两篇文章给大家介绍了ClickHouse及其核心架构，以及ClickHouse的单机部署。但是在实际生产中我们很少会是单机运行，因此今天就给大家介绍ClickHouse集群的部署方法 Zookeeper集群部署 ClickHouse虽说不依赖Hadoop生态，但是依赖于zookeeper，作用是实现ClickHouse多个实例之间的通信。例如一个客户端向其中一个实例发起写入数据的操作，该实例接收到请求后会将操作日志写入zookeeper中，这样其他实例监听到zookeeper的变化，便从目标实例下载数.
从0开始搭建clickhouse集群
mianhuatang__的博客
02-21 790
从0开始搭建clickhouse集群（bushi）
clickhouse四种集群部署方案
m0_67550015的博客
08-05 2936
读请求通过负载均衡到达任意一个节点的分布式表distributed，distributed准备往每个分片发送查询请求，但此时由于每个分片都有副本，因此还需要从分片的副本中负载均衡算法选取合适的副本节点发送查询请求，节点收到查询请求后直接查询本地表后返回数据给请求节点做合并。写请求通过负载均衡到某个节点的distributed表，经过distributed对写入的数据进行分片处理，由于分片有副本，因此需要往符合分片策略的所有副本节点里的本地表写入数据。1.由于做了数据分片，没有冗余，数据存储能力增强了;...
一个有序数组，用两分查找法，找到输入的那个数。十以内。
06-06
下面是一个使用两分查找法查找有序数组的例子，要求在数组 `[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]` 中查找输入的数值： ```c #include <stdio.h> int binarySearch(int arr[], int left, int right, int target); int main() { int arr[] = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}; int n = sizeof(arr) / sizeof(arr[0]); int target; printf("Please enter a number between 1 and 10: "); scanf("%d", &target); int index = binarySearch(arr, 0, n - 1, target); if (index == -1) { printf("Element not found.\n"); } else { printf("Element found at index %d.\n", index); } return 0; } int binarySearch(int arr[], int left, int right, int target) { if (left > right) { return -1; } int mid = (left + right) / 2; if (arr[mid] == target) { return mid; } else if (arr[mid] > target) { return binarySearch(arr, left, mid - 1, target); } else { return binarySearch(arr, mid + 1, right, target); } } ``` 在这个例子中，我们定义了一个有序数组 `arr`，并使用 `binarySearch()` 函数在其中查找目标元素 `target`。该函数接受四个参数：要搜索的数组 `arr`、数组的左边界 `left`、右边界 `right` 和目标元素 `target`。在函数中，我们首先检查左边界是否大于右边界，如果是，则表明目标元素不在数组中，返回 -1。否则，我们计算中间下标 `mid`，并将中间元素 `arr[mid]` 与目标元素 `target` 进行比较。如果它们相等，则返回中间下标。否则，如果中间元素大于目标元素，则表明目标元素可能在数组的左半部分，我们递归调用 `binarySearch()` 函数查找左半部分。如果中间元素小于目标元素，则表明目标元素可能在数组的右半部分，我们递归调用 `binarySearch()` 函数查找右半部分。最终，如果找到目标元素，则返回其下标，否则返回 -1。 需要注意的是，由于本例中要查找的数值在 1~10 之间，因此递归调用 `binarySearch()` 函数时，我们传递给函数的左边界为 0，右边界为 `n - 1`（数组中元素个数减 1）。这样可以确保函数只搜索数组中存在的元素，避免了不必要的递归调用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值