2024年ClickHouse分布式，2024年最新大数据开发面试2024

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

在MergeTree中，一个数据分区由开始创建到全部完成，会历经两类存储区域。

• 内存：数据首先会被写入内存缓冲区。
• 本地磁盘：数据接着会被写入tmp临时目录分区，待全部完成后再将临时目录重命名为正式分区。

ReplicatedMergeTree在上述基础之上增加了ZooKeeper的部分，它会进一步在ZooKeeper内创建一系列的监听节点，并以此实现多个实例之间的通信。在整个通信过程中，ZooKeeper并不会涉及表数据的传输。

• 依赖ZooKeeper：在执行INSERT和ALTER查询的时候，ReplicatedMergeTree需要借助ZooKeeper的分布式协同能力，以实现多个副本之间的同步。但是在查询副本的时候，并不需要使用 ZooKeeper。
• 表级别的副本：副本是在表级别定义的，所以每张表的副本配置都可以按照它的实际需求进行个性化定义，包括副本的数量，以及副本在集群内的分布位置等。
• 多主架构（Multi Master）：可以在任意一个副本上执行INSERT和ALTER查询，它们的效果是相同的。这些操作会借助ZooKeeper的协同能力被分发至每个副本以本地形式执行。
• Block数据块：在执行INSERT命令写入数据时，会依据 max_insert_block_size的大小（默认1048576行）将数据切分成若干个Block数据块。所以Block数据块是数据写入的基本单元，并且具有 写入的原子性和唯一性。
• 原子性：在数据写入时，一个Block块内的数据要么全部写入成功，要么全部失败。
• 唯一性：在写入一个Block数据块的时候，会按照当前Block数据块的数据顺序、数据行和数据大小等指标，计算Hash信息摘要并记录在案。在此之后，如果某个待写入的Block数据块与先前已被写入的 Block数据块拥有相同的Hash摘要（Block数据块内数据顺序、数据大小和数据行均相同），则该Block数据块会被忽略。这项设计可以预防由异常原因引起的Block数据块重复写入的问题。

8.1 分片概念

通过引入数据副本，提升了查询性能（分摊查询、读写分离），但是每个副本自身，仍然保存了数据表的全量数据。在业务量十分庞大的场景中，依靠副本并不能解决单表的性能瓶颈。

CH中的每个服务节点都可称为一个shard（分片）。从理论上来讲，假设有N(N>=1)张数据表A，分布在N个CH服务节点，而这些数据表彼此之间没有重复数据，那么就可以说数据表A拥有N个分片。CH 的数据分片需要结合Distributed表引擎一同使用

Distributed表引擎自身不存储任何数据，作为分布式表的代理，在集群内部自动开展数据的写入、分发、查询、路由等工作。

8.2 副本

副本的目的主要是保障数据的高可用性，即使一台 ClickHouse节点宕机，那么也可以从其他服务器获得相同的数据。

8.2.1 副本的写入流程

副本数据写入流程： 1、 客户端向ck的主节点写入数据。 2、 主节向zk提交写入的日志信息。 3、 从节点监听到zk写入的日志信息。 4、 从节点从主节点下载新写入的数据。

ps: （1）实现依赖于zk。 （2）ck不是主从读写分离的，也就是你往任一节点写，其他节点都可以同步。

8.2.2 配置zookeeper

需要在每台CK的节点上配置ZK的位置，在全局配置config.xml中定义即可。但是各个副本所使用的Zookeeper配置通常是相同的，为了便于在多个节点之间复制配置文件，更常见的做法是将这一部分配置抽离出来，独立使用一个文件保存。

在node2，node3节点上面执行之前单节点部署的所有的操作

![img](https://img-blog.csdnimg.cn/img_convert/3a0fb4e6b3c817fa6280a5522d072d4b.png)
![img](https://img-blog.csdnimg.cn/img_convert/6bf63ad5c8a3d756a3d2eaf1cf7ccb40.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**