「从ES到CK 03」Clickhouse多分片多副本集群部署

 导航

        在完成将公司日志数据从Elasticsearch(下称ES)转战到Clickhouse后，个人认为有必要将过程记录分享。限于篇幅及便于分类组织，我会以一个系列文章的形式记录：

• 01 《Elasticsearch vs Clickhouse》
• 02 《Clickhouse的基础知识扫盲》
• 03 《​Clickhouse多分片多副本集群部署​》
• 04 《​​Clickhouse表引擎选择和表结构设计​》
• 05 《clickhouse​高效数据处理工具vector​》
• 06 《​​​​​​​​​clickhouse的数据可视化工具clickvisual​》
• 07 《kibana自定义插件跳转clickvisual》
• 08 《妙用clickvisual api实现用户自动管理》（敬请期待）

一、部署架构

        在系列文章《​​Elasticsearch vs Clickhouse​​》也有提到过，我司ES集群在资源成本、数据安全方面存在不足，故在规划Clickhouse集群方案时做了以下方面改进：

• 资源成本：

        1、主机规格按实际使用情况，以最小化原则申请，后续按需扩容；

        2、因Clickhouse支持S3，故计划将历史数据存放到遵循S3协议的对象存储oss上，以节省总体成本。

• 数据安全：

        选用3分片2副本的集群模式，使集群具备高可用能力

1、组件和资源规格

组件	版本	数量	资源规格(cpu/内存/硬盘)
Zookeeper	3.4.13	3	2c/4gb/50gb hdd
Clickhouse	22.7.4.16	6	8c/16gb/200gb ssd + 200gb hdd + 6tb oss
Nginx	1.22.0	1

2、集群架构图