Flink同步Kafka数据到ClickHouse分布式表

公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。

业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。

什么是ClickHouse？

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。

列式数据库更适合于OLAP场景(对于大多数查询而言，处理速度至少提高了100倍)，下面详细解释了原因(通过图片更有利于直观理解)，图片来源于ClickHouse中文官方文档。

行式

列式

我们使用Flink编写程序，消费kafka里面的主题数据，清洗、归一，写入到clickhouse里面去。

这里的关键点，由于第一次使用，无法分清应该建立什么格式的clickhouse表，出现了一些问题，最大的问题就是程序将数据写入了，查询发现数据不完整，只有一部分。我也在网上查了一些原因，总结下来。

为什么有时看不到已经创建好的表并且查询结果一直抖动时多时少？

• 常见原因1：

建表流程存在问题。ClickH