ClickHouse Keeper 源码解析

作者

范振（花名辰繁），阿里云开源大数据-OLAP 方向负责人  

1

背景   

注：以下代码分析版本为开源版本 ClickHouse v21.8.10.19-lts。类图、顺序图未严格按照 UML 规范；为方便表意，函数名、函数参数等未严格按照原版代码。

HouseKeeper Vs Zookeeper

• Zookeeper java 开发，有 JVM 痛点，执行效率不如 C++；Znode 数量太多容易出现性能问题，Full GC 比较多。

• Zookeeper 运维复杂，需要独立部署组件，之前出问题比较多。HouseKeeper 部署形态比较多，可以 standalone 模式和集成模式。

• Zookeeper ZXID overflow 问题，HouseKeeper 没有该问题。

• HouseKeeper 读写性能均有提升，支持读写线性一致性，关于一致性的级别参见https://xzhu0027.gitbook.io/blog/misc/index/consistency-models-in-distributed-system。

• HouseKeeper 代码与 CK 统一，自主闭环可控。未来可扩展能力强，可以基于此做 MetaServer 的设计开发。主流的的 MetaServer 基本都是 Raft+rocksDB 的组合，可以借助该 codebase 进行开发。

Zookeeper Client

• Zookeeper Client 完全不需要修改，HouseKeeper 完全适配 Zookeeper 的协议。

• Zookeeper Client 由 CK 自己开发，放弃使用 libZookeeper（是一个bad smell代码库），CK 自己从 TCP 层进行封装遵循 Zookeeper Protocol。

2

架构图   

• 3种部署模式，推荐第一种 standalone 方式，可以选择小机型 SSD 磁盘，最大程度发挥 Keeper 的性能。

      

      

      

3

核心流程图梳理   

类图关系

• 入口 main 函数，主要做2件事：

  • 初始化 Poco::Net::TCPServer，定义处理请求的 KeeperTCPHandler。

  • 实例化 keeper_storage_dispatcher，并且调用
    KeeperStorageDispatcher➝initialize()。该函数主要作用是以下几个：

    • <