微信 ClickHouse 实时数仓的实践之路

​作者：微信WeOLAP团队&腾讯云数据仓库 Clickhouse 团队

微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信WeOLAP团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了10倍以上的性能提升。下文将由浅入深，为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。

一、微信遇到的挑战

一般来说，微信主要的数据分析场景包含以下几个方面：

1.科学探索：服务于数据科学家，通过即席查询做业务上的归因推断。

2.看板：服务于运营和管理层，展示所关注的核心指标。

3.A/B 实验平台：服务于算法工程师，把新的模型，放在 A/B 实验平台上做假设检验，看模型是否符合预期。

除此以外，还有实时监控、日志系统明细查询等场景。

在所有的场景当中，使用者都有非常重要的诉求——快：希望查询响应更快，指标开发更快完成，看板更新更及时。与此同时，微信面临的是海量的数据，业务场景中“单表日增万亿”很常见，这就对下一代“数据分析系统”提出新的挑战。

在使用 ClickHouse 之前，微信使用的是 Hadoop 生态为主的数仓，存在以下这些问题：

1.响应慢，基本上是分钟级࿰