2024年大数据最新大数据存储技术之ClickHouse入门学习（一）

123456

②方法二：配置 /etc/clickhouse-client/config.xml 文件

vim /etc/clickhouse-client/config.xml

username

password

False

五、ClickHouse集群

---

ClickHouse集群部署：使用教程 | ClickHouse文档

ClickHouse集群配置：https://clickhouse.tech/docs/zh/operations/configuration-files

ClickHouse副本引擎：数据副本 | ClickHouse文档

ClickHouse分布式配置：分布 | ClickHouse文档

该集群配置为分片副本集群， ClickHouse只有 MergeTree 系列里的表可支持副本

副本配置提供高可用，分片配置提供数据的横向扩展和容灾

ClickHouse在单个节点创建表，表只会创建在单个节点上。如果想要使用复制表，

在建表时必须指定带 Replicated 前缀的复制表引擎，然后在每个节点上创建相同表

副本只能同步数据，不能同步表结构，所以我们需要在每台机器上自己手动建表

每台机器都相同的配置文件：/etc/clickhouse-server/config.xml（不引入外部metrika.xml不相同）

每台机器不相同的配置文件：/etc/metrika.xml

1、 ClickHouse目录文件介绍

ClickHouse目录文件

数据存储目录	/var/lib/clickhouse
日志存储目录	/var/log/clickhouse-server
默认分片集群配置	/etc/metrika.xml
服务器配置文件	/etc/clickhouse-server/config.xml
客户端配置文件	/etc/clickhouse-client/config.xml
定时任务配置	/etc/cron.d/clickhouse-server
系统服务配置文件	/etc/systemd/system/clickhouse-server.service
文件句柄数量配置	/etc/security/limits.d/clickhouse.conf
主程序可执行文件	/var/lib/clickhouse
客户端连接可执行文件	/usr/bin/clickhouse-client
服务端可执行文件	/usr/bin/clickhouse-server
数据压缩可执行文件	/usr/bin/clickhouse-compressor
服务器正常日志文件	/var/log/clickhouse-server/clickhouse-server.log
服务端错误日志文件	/var/log/clickhouse-server/clickhouse-server.err.log

2、ClickHouse集群规划

ClickHouse集群规划

	zookeeper	clickhouse	分片	副本
hadoop001	√	√	shard01	replica_01_02
hadoop002	√	√	shard02	replica_02_02
hadoop003	√	√	shard03	replica_03_02
hadoop004		√	shard01	replica_01_01
hadoop005		√	shard02	replica_02_01
hadoop006		√	shard03	replica_03_01

3、ClickHouse核心配置

cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config.xml.init

chmod 664 /etc/clickhouse-server/config.xml

chown -R clickhouse:clickhouse /etc/clickhouse-server

vim /etc/clickhouse-server/config.xml

<listen_host>0.0.0.0</listen_host>