副本虽然能够提高数据的可用性,降低丢失风险,但是每台服务器实际上必须容纳全量
数据,对数据的横向扩容没有解决
要解决数据水平切分的问题,需要引入分片的概念。通过分片把一份完整的数据进行切
分,不同的分片分布到不同的节点上,再通过 Distributed 表引擎把数据拼接起来一同使用。
Distributed 表引擎本身不存储数据,有点类似于 MyCat 之于 MySql,成为一种中间
件,通过分布式逻辑表来写入、分发、路由来操作多台节点不同分片的分布式数据。
注意:ClickHouse 的集群是表级别的,实际企业中,大部分做了高可用,但是没有用
分片,避免降低查询性能以及操作集群的复杂性。
7.1 集群写入流程(3 分片 2 副本共 6 个节点)
![](https://i-blog.csdnimg.cn/blog_migrate/7bc32f9fe34cfa07a61d6a0443bd482a.png)
7.2
集群读 取流 程 ( 3 分片 2 副本共 6 个 节 点)
![](https://i-blog.csdnimg.cn/blog_migrate/82f0aea235a0b4927233e7a7508ab3a5.png)
7.3
3 分片 2 副本共 6 个节点集群配置(供参考)
配置的位置还是在之前的/etc/clickhouse-server/config.d/metrika.xml,内容如下
![](https://i-blog.csdnimg.cn/blog_migrate/fcef682dc80debd8fd5681bcd0b38957.png)
7.4 配置三节点版本集群及副本
7.4.1 集群及副本规划(2 个分片,只有第一个分片有副本)
![](https://i-blog.csdnimg.cn/blog_migrate/4a26a18aaaeb8737faa72254ccbc4f01.png)
7.4.2 配置步骤
(1)在 hadoop202 的/etc/clickhouse-server/config.d 目录下创
建 metrika-shard.xml 文件
<?xml version="1.0"?>
<yandex>
<clickhouse_remote_servers>
<gmall_cluster> <!-- 集群名称-->
<shard> <!--集群的第一个分片-->
<internal_replication>true</internal_replication>
<replica> <!--该分片的第一个副本-->
<host>hadoop202</host>
<port>9000</port>
</replica>
<replica> <!--该分片的第二个副本-->
<host>hadoop203</host>
<port>9000</port>
</replica>
</shard>
<shard> <!--集群的第二个分片-->
<internal_replication>true</internal_replication>
<replica> <!--该分片的第一个副本-->
<host>hadoop204</host>
<port>9000</port>
</replica>
</shard>
</gmall_cluster>
</clickhouse_remote_servers>
<zookeeper-servers>
<node index="1">
<host>hadoop202</host>
<port>2181</port>
</node>
<node index="2">
<host>hadoop203</host>
<port>2181</port>
</node>
<node index="3">
<host>hadoop204</host>
<port>2181</port>
</node>
</zookeeper-servers>
<macros>
<shard>01</shard> <!--不同机器放的分片数不一样-->
<replica>rep_1_1</replica> <!--不同机器放的副本数不一样-->
</macros>
</yandex>
(2)将 hadoop202 的 metrika-shard.xml 同步到 203 和 204
sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.d/metrika-shard.xml
![](https://i-blog.csdnimg.cn/blog_migrate/792e426991a9118a8e68da81ab7a4474.png)
(3)修改 203 和 204 中 metrika-shard.xml 宏的配置
![](https://i-blog.csdnimg.cn/blog_migrate/2b795708dbed5d4e37e962d4969ece7c.png)
(4)在 hadoop202 上修改/etc/clickhouse-server/config.xml
![](https://i-blog.csdnimg.cn/blog_migrate/47c044207b65ec1741fe6ced848bac9d.png)
(5)同步/etc/clickhouse-server/config.xml 到 203 和 204
[atguigu@hadoop202 ~]$ sudo /home/atguigu/bin/xsync /etc/clickhouse-server/config.xml
(6)重启三台服务器上的 ClickHouse 服务
[atguigu@hadoop202 clickhouse-server]$ sudo systemctl stop clickhouse-server
[atguigu@hadoop202 clickhouse-server]$ sudo systemctl start clickhouse-server
[atguigu@hadoop202 clickhouse-server]$ ps -ef |grep click
![](https://i-blog.csdnimg.cn/blog_migrate/e248a7c5bcdf3208dd18f174ecca7515.png)
(7)在 hadoop202 上执行建表语句
➢
会自动同步到 hadoop203 和 hadoop204 上
➢
集群名字要和配置文件中的一致
➢
分片和副本名称从配置文件的宏定义中获取
![](https://i-blog.csdnimg.cn/blog_migrate/215831f4d5b03403f016fdc40b6ffd60.png)
可以到 hadoop203 和 hadoop204 上查看表是否创建成功
![](https://i-blog.csdnimg.cn/blog_migrate/00e25d65b85764117bfc62540cb49b45.png)
(8)在 hadoop202 上创建 Distribute 分布式表
(9)在 hadoop202 上插入测试数据
(10) 通过查询分布式表和本地表观察输出结果
➢
分布式表
SELECT * FROM st_order_mt_all;
➢
本地表
select * from st_order_mt;
➢
观察数据的分布
![](https://i-blog.csdnimg.cn/blog_migrate/ff4c50fe44248a3f398dee0602fccaf6.png)
7.5 项目为了节省资源,就使用单节点,不用集群
不需要求改文件引用,因为已经使用集群建表了,如果改为引用 metrika-shard.xml
的话,启动会报错。我们以后用的时候只启动 202 即可