「从ES到CK 05」clickhouse高效数据处理工具vector

 导航

        在完成将公司日志数据从Elasticsearch(下称ES)转战到Clickhouse后，个人认为有必要将过程记录分享。限于篇幅及便于分类组织，我会以一个系列文章的形式记录：

• 01 《Elasticsearch vs Clickhouse》
• 02 《Clickhouse的基础知识扫盲》
• 03 《​Clickhouse多分片多副本集群部署​》
• 04 《​​Clickhouse表引擎选择和表结构设计​》
• 05 《​clickhouse高效数据处理工具vector​》
• 06 《​​​​​​​​​clickhouse的数据可视化工具clickvisual​》
• 07 《kibana自定义插件跳转clickvisual》
• 08 《妙用clickvisual api实现用户自动管理》（敬请期待）

一、常见的日志处理工具logstash

        跟大部分企业一样，在日志解决方案选型时，优先选择了业界成熟方案elk + kafka + beats；顾名思义，该方案是使用logstash进行数据处理的。

二、现状与挑战

        Logstash 是一款服务器端数据处理管道，用于采集、转换和存储数据。目前我司运行了8个logstash节点，日均日志处理量大约 2TB。随着日志量的增加，logstash的一些问题逐渐暴露：

• 资源成本问题：logstash使用的8个节点，规格均为16c32g的服务器，在工作时间内资源使用率基本在90%以上。作为一个非利润部门的工具平台，占用的资源过多；

• 性能问题</