Clickhouse centos7集群搭建

已于 2022-07-14 13:48:07 修改
阅读量579 收藏 5
点赞数 2
分类专栏： clickhouse 文章标签： sql
于 2021-09-10 14:29:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27242695/article/details/120217324
版权

文章目录

Clickhouse centos7集群搭建

1 准备

准备阶段操作略

  1. Zookeeper集群：hadoop101,hadoop102,hadoop103(一主一从一observer)
    Zookeeper集群搭建

  2. 三个节点centos7：hadoop101,hadoop102,hadoop103分别安装clickhouse
    在这里插入图片描述

2 配置三节点版本集群及副本（2个分片，只有一个分片有副本）

在这里插入图片描述

2.1 hadoop101 配置

  1. /etc/clickhouse-server/config.d/目录下创建metrika-shard.xml
    添加以下配置
<?xml version="1.0"?>
	<yandex>
		<remote_servers>
			<!-- 集群名称--> 
			<gmall_cluster> 
				 <!--集群的第一个分片-->
				<shard> 
					<internal_replication>true</internal_replication>
					<!--该分片的第一个副本-->
					<replica> 
						<host>hadoop101</host>
						<port>9000</port>
					</replica>
					<!--该分片的第二个副本-->
					<replica> 
						<host>hadoop102</host>
						<port>9000</port>
						</replica>
				</shard>
				<!--集群的第二个分片-->
				<shard> 
					<internal_replication>true</internal_replication>
					<!--该分片的第一个副本-->
					<replica> 
						<host>hadoop103</host>
						<port>9000</port>
					</replica>
				</shard>
			</gmall_cluster>
		</remote_servers>
	<!-- zookeeper集群连接配置 -->
	<zookeeper-servers>
		<node index="1">
			<host>hadoop101</host>
			<port>2181</port>
		</node>
		<node index="2">
			<host>hadoop102</host>
			<port>2181</port>
		</node>
	</zookeeper-servers>
	<!-- 参数配置,创建表参数可动态引用 -->
	<macros>
		<!--不同机器放的分片数不一样-->
		<shard>01</shard> 
		<!--不同机器放的副本数不一样 rep_分片索引_副本-->
		<replica>rep_1_1</replica> 
	</macros>
</yandex>
  1. 将metrika-shard.xml引用到config.xml配置文件中
<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika-shard.xml</include_from>

2.2 hadoop102 配置

  1. /etc/clickhouse-server/config.d/目录下创建metrika-shard.xml
    添加以下配置
<?xml version="1.0"?>
	<yandex>
		<remote_servers>
			<!-- 集群名称--> 
			<gmall_cluster> 
				 <!--集群的第一个分片-->
				<shard> 
					<internal_replication>true</internal_replication>
					<!--该分片的第一个副本-->
					<replica> 
						<host>hadoop101</host>
						<port>9000</port>
					</replica>
					<!--该分片的第二个副本-->
					<replica> 
						<host>hadoop102</host>
						<port>9000</port>
						</replica>
				</shard>
				<!--集群的第二个分片-->
				<shard> 
					<internal_replication>true</internal_replication>
					<!--该分片的第一个副本-->
					<replica> 
						<host>hadoop103</host>
						<port>9000</port>
					</replica>
				</shard>
			</gmall_cluster>
		</remote_servers>
	<!-- zookeeper集群连接配置 -->
	<zookeeper-servers>
		<node index="1">
			<host>hadoop101</host>
			<port>2181</port>
		</node>
		<node index="2">
			<host>hadoop102</host>
			<port>2181</port>
		</node>
	</zookeeper-servers>
	<!-- 参数配置,创建表参数可动态引用 -->
	<macros>
		<!--不同机器放的分片数不一样-->
		<shard>01</shard> 
		<!--不同机器放的副本数不一样 rep_分片索引_副本-->
		<replica>rep_1_2</replica> 
	</macros>
</yandex>
  1. 将metrika-shard.xml引用到config.xml配置文件中
<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika-shard.xml</include_from>

2.3 hadoop103 配置

  1. /etc/clickhouse-server/config.d/目录下创建metrika-shard.xml
    添加以下配置
<?xml version="1.0"?>
	<yandex>
		<remote_servers>
			<!-- 集群名称--> 
			<gmall_cluster> 
				 <!--集群的第一个分片-->
				<shard> 
					<internal_replication>true</internal_replication>
					<!--该分片的第一个副本-->
					<replica> 
						<host>hadoop101</host>
						<port>9000</port>
					</replica>
					<!--该分片的第二个副本-->
					<replica> 
						<host>hadoop102</host>
						<port>9000</port>
						</replica>
				</shard>
				<!--集群的第二个分片-->
				<shard> 
					<internal_replication>true</internal_replication>
					<!--该分片的第一个副本-->
					<replica> 
						<host>hadoop103</host>
						<port>9000</port>
					</replica>
				</shard>
			</gmall_cluster>
		</remote_servers>
	<!-- zookeeper集群连接配置 -->
	<zookeeper-servers>
		<node index="1">
			<host>hadoop101</host>
			<port>2181</port>
		</node>
		<node index="2">
			<host>hadoop102</host>
			<port>2181</port>
		</node>
	</zookeeper-servers>
	<!-- 参数配置,创建表参数可动态引用 -->
	<macros>
		<!--不同机器放的分片数不一样-->
		<shard>02</shard> 
		<!--不同机器放的副本数不一样 rep_分片索引_副本-->
		<replica>rep_2_1</replica> 
	</macros>
</yandex>
  1. 将metrika-shard.xml引用到config.xml配置文件中
<zookeeper incl="zookeeper-servers" optional="true" />
<include_from>/etc/clickhouse-server/config.d/metrika-shard.xml</include_from>

2.4 检查启动关闭

  1. 检查 /etc/clickhouse-server目录下的文件权限是否均归属clickhouse账户(确保是clickhouse,否则启动会失败)
# 修改
chown -R clickhouse:clickhouse /etc/clickhouse-server
  1. 逐台启动
# 启动
systemctl start clickhouse-server
# 关闭
systemctl stopclickhouse-server
# 环境指令
clickhouse start/stop/restart

2.5 查看集群是否搭建成功

# 连接clickhouse
[root@hadoop101 clickhouse-server]# clickhouse-client -m
ClickHouse client version 21.8.5.7 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 21.8.5 revision 54449.

hadoop101 :) select * from system.clusters;

SELECT *
FROM system.clusters

Query id: 44bec642-9bd9-49b4-9658-da3314528a77

┌─cluster──────────────────────────────────────┬─shard_num─┬─shard_weight─┬─replica_num─┬─host_name─┬─host_address───┬─port─┬─is_local─┬─user────┬─default_database─┬─errors_count─┬─slowdowns_count─┬─estimated_recovery_time─┐
│ gmall_cluster                                │         1 │            1 │           1 │ hadoop101 │ 192.168.10.101 │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ gmall_cluster                                │         1 │            1 │           2 │ hadoop102 │ 192.168.10.102 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ gmall_cluster                                │         2 │            1 │           1 │ hadoop103 │ 192.168.10.103 │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ test_cluster_two_shards                      │         1 │            1 │           1 │ 127.0.0.1 │ 127.0.0.1      │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ test_cluster_two_shards                      │         2 │            1 │           1 │ 127.0.0.2 │ 127.0.0.2      │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ test_cluster_two_shards_internal_replication │         1 │            1 │           1 │ 127.0.0.1 │ 127.0.0.1      │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ test_cluster_two_shards_internal_replication │         2 │            1 │           1 │ 127.0.0.2 │ 127.0.0.2      │ 9000 │        0 │ default │                  │            0 │               0 │                       0 │
│ test_cluster_two_shards_localhost            │         1 │            1 │           1 │ localhost │ ::1            │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ test_cluster_two_shards_localhost            │         2 │            1 │           1 │ localhost │ ::1            │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ test_shard_localhost                         │         1 │            1 │           1 │ localhost │ ::1            │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ test_shard_localhost_secure                  │         1 │            1 │           1 │ localhost │ ::1            │ 9440 │        0 │ default │                  │            0 │               0 │                       0 │
│ test_unavailable_shard                       │         1 │            1 │           1 │ localhost │ ::1            │ 9000 │        1 │ default │                  │            0 │               0 │                       0 │
│ test_unavailable_shard                       │         2 │            1 │           1 │ localhost │ ::1            │    1 │        0 │ default │                  │            0 │               0 │                       0 │
└──────────────────────────────────────────────┴───────────┴──────────────┴─────────────┴───────────┴────────────────┴──────┴──────────┴─────────┴──────────────────┴──────────────┴─────────────────┴─────────────────────────┘

13 rows in set. Elapsed: 0.015 sec.

3 创建集群分布式表

3.1 创建基础表

create table develop.t_order_mt on cluster gmall_cluster (
   id UInt32,
   sku_id String,
   total_amount Decimal(16,2),
   create_time Datetime
) engine = ReplicatedMergeTree('/clickhouse/tables/{shard}/t_order_mt','{replica}')
 partition by toYYYYMMDD(create_time)
 primary key (id)
 order by (id,sku_id);

3.2 创建分布式表

  1. Distributed
create table develop.t_order_mt_all on cluster gmall_cluster (
 id UInt32,
 sku_id String,
 total_amount Decimal(16,2),
 create_time Datetime
) engine = Distributed(gmall_cluster,develop, t_order_mt,hiveHash(sku_id));

Distributed 参数含义：

  • Distributed（集群名称，库名，本地表名，分片键）
  • 分片键必须是整型数字，所以用 hiveHash 函数转换，也可以 rand()
  1. 造数
insert into develop.t_order_mt_all values
(201,'sku_001',1000.00,'2020-06-01 12:00:00') ,
(202,'sku_002',2000.00,'2020-06-01 12:00:00'),
(203,'sku_004',2500.00,'2020-06-01 12:00:00'),
(204,'sku_002',2000.00,'2020-06-01 12:00:00'),
(205,'sku_003',600.00,'2020-06-02 12:00:00');

3.3 验证

  1. hadoop101
    在这里插入图片描述

  2. hadoop102
    在这里插入图片描述

  3. hadop103
    在这里插入图片描述

老鼠扛刀满街找猫@
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7安装部署clickhouse集群
weixin_47303949的博客
11-20 1304
我这里是三台服务器，centos版本是7.8，分别是： 192.168.130.46 192.168.130.48 192.168.130.49 需要提前安装好zookeeper并启动，此处省略步骤。 1.检查操作系统是否支持 执行：grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported" 显示：SSE 4.2 supported，为支持 2.开始安装 三台服务器都依次执
20210723-基于CentOS7/Linux搭建ClickHouse集群
u013531477的博客
07-27 826
<div class="page-foot"> <div class="form-actions"> <button type="submit" class="wui-btn big-padding wui-btn-primary" id="btnSubmit">保存</button> <button type="button" class="wui-btn ...
【clickhouse】Centos7部署Clickhouse数据库
u012272367的博客
12-12 2545
centos7部署clickhouse,从0都1的过程
Linux（Centos7）下安装部署clickhouse（详细版）
m0_68318951的博客
09-26 2655
是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。
Centos搭建nfs高可用集群(详细教程)
最新发布
u011634836的博客
07-07 2139
NFS（Network File System）高可用集群的实现，是为了确保NFS服务在单点故障时能够持续提供服务，从而提高系统的稳定性和数据的可靠性。
安装ClickHouse集群
make_progress的博客
05-14 729
ClickHouse是由俄罗斯搜索引擎Yandex开源的列式数据库管理系统，定位是分析性数据库。它适合聚合计算，写入速度非常快，不支持事务，不存在隔离级别，不支持高并发。此外，建议1000条以上批量的写入，不建议单条记录修改和删除。ClickHouse稳定版下载地址CentOS7软件版本。
centos 7.9 RPM包部署clickhouse 20.10.3.30版本安装与配置（详细部署及问题汇总）
weixin_51485976的博客
05-11 1741
clickhouse集群部署及问题汇总
centos7搭建mysql集群
05-15
### CentOS 7 搭建 MySQL 集群详解 #### 一、概述 随着业务规模的扩大，单一数据库服务器往往难以满足高并发、大数据量的需求。为了提高系统的可用性和性能，采用 MySQL 集群成为一种常见的解决方案。本文将详细...
基于CentOS的集群搭建
12-03
1. 虚拟机安装：在进行基于CentOS的集群搭建前，首先要安装虚拟机软件，比如VMware。这一步骤是为了在虚拟环境中创建所需的CentOS实例。 2. VMware Tools安装：为了增强虚拟机与宿主机之间的兼容性和性能，需要在...
CentOS 7下搭建高可用集群
01-09
本文以两台机器实现双集热备高可用集群，主机名node1的IP为192.168.122.168 ，主机名node2的IP为192.168.122.169 。 　一、安装集群软件 　必须软件pcs，pacemaker，corosync，fence-agents-all，如果需要配置相关...
CentOS7搭建Zookeeper集群.docx
10-26
CentOS7 搭建 Zookeeper 集群 CentOS7 搭建 Zookeeper 集群是指在 CentOS7 操作系统上搭建 Zookeeper 分布式集群环境的过程。Zookeeper 是一个开源的分布式集群管理器，主要用于管理大型分布式系统的配置、命名、...
CentOS7下搭建多节点Elasticsearch集群.docx
10-26
CentOS7 下搭建多节点 Elasticsearch 集群 Elasticsearch 是一个基于 Lucene 的搜索服务器，提供了实时搜索、数据分析、数据存储等功能。 CentOS7 是一个流行的 Linux 发行版，搭建多节点 Elasticsearch 集群可以...
CentOS7下安装ClickHouse详解
白石的专栏
09-25 2010
CentOS7下安装ClickHouse详解
Linux系统：Centos7下搭建ClickHouse列式存储数据库
【积累】，是一个长期持续的过程。
10-07 979
Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUPBY)，ClickHouse的查询速度非常快。...
centos7环境下 安装ClickHouse和基本命令的使用
你若为我繁华，我愿成你烟花
11-24 1930
安装 下载文件并安装 wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-common-20.3.12.112-1.el7.x86_64.rpm/download.rpm wget --content-disposition https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickho
centos7 安装clickhouse，简介，python连接，建表
weixin_42332638的博客
09-16 867
ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的用于在线分析处理查询MPP架构的列式存储数据库（DBMS：Database Management System），能够使用 SQL 查询实时生成分析数据报告。ClickHouse的全称是Click Stream，Data WareHouse。clickhouse可以做用户行为分析，流批一体线性扩展和可靠性保障能够原生支持 shard + replication。
centos7/redhat7 离线部署clickhouse+zookeeper集群
ylsutpc的博客
10-13 1106
centos7/redhat7 离线部署clickhouse+zookeeper集群
ClickHouse安装和使用（windows10 docker 和 linux centos7）
闫玉林的博客
06-30 1294
ClickHouse安装使用（windows10 docker 和 linux centos7） 安装 centos7 windows10 使用 工具 操作命令 安装 centos7 linux可以直接安装 sudo yum install yum-utils windows需要提前安装一个docker，在这里不做赘述 windows可以使用docker安装镜像，可以使用windows DOS，也可以直接使用 Docker Desktop，映射配置很方便 可以安装最新版的，也可以指定你要的版本......
clickhouse centos7安装
qq690452074的专栏
08-28 1312
clickhouse centos7安装
centos7集群搭建问题
06-25
在 CentOS 7 中搭建集群通常涉及以下几个步骤： 1. **选择集群架构**：常见的集群架构有主从（Master-Slave）、负载均衡（Load Balancing）和无状态分布式（如 Mesos 或 Kubernetes）。你需要根据你的应用需求确定架构。 2. **安装必要的软件**： - **网络配置**：确保网络设备（如 bond 接口）正确配置，并启用 IP 转发（IPtables 或 firewalld）。 - **安装基础工具**：如 yum、SSH、Puppet或Ansible等用于管理和自动化部署。 - **安装集群管理软件**：比如 Red Hat Cluster Management Utility (RHCM) 或者使用开源的 Pacemaker 和 Corosync。 3. **节点加入集群**： - **安装和配置集群软件**，比如在每个节点上安装并配置服务和网络通信协议。 - **加入集群**：通过动态发现（例如 DNS 服务）或手动配置节点信息，将节点加入到集群中。 4. **资源管理**： - 创建和管理资源池，如存储、计算能力等。 - 使用高可用服务（HAProxy 或 Keepalived）进行负载均衡和故障转移。 5. **监控和日志**： - 安装和配置日志聚合系统（如 Logstash, Fluentd）和监控工具（如 Nagios 或 Zabbix）。 6. **测试和优化**： - 在生产环境之前进行充分的测试，包括功能测试和性能测试。 - 根据实际情况调整集群配置和策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值