实时数仓CDC对比选型
实时数仓中数据同步需要选取一个CDC工具,这里对比几种CDC的特点。
Flink CDC | Maxwell | Canal | |
---|---|---|---|
断点续传 | 有(通过checkpoint) | 有(保存在MySQL) | 有(保存在本地磁盘) |
数据初始化功能 | 有(多库多表) | 有(单表) | 无 |
SQL与数据条数关系 | 无 | 无 | 一对一(炸开) |
封装格式 | 自定义 | JSON | JSON(c/s自定义) |
高可用 | 运行集群高可用即可 | 无 | 集群(ZK) |
综上可以看出,实时数仓中Flink CDC使用起来最方便。
实时数仓中数据同步需要选取一个CDC工具,这里对比几种CDC的特点。
Flink CDC | Maxwell | Canal | |
---|---|---|---|
断点续传 | 有(通过checkpoint) | 有(保存在MySQL) | 有(保存在本地磁盘) |
数据初始化功能 | 有(多库多表) | 有(单表) | 无 |
SQL与数据条数关系 | 无 | 无 | 一对一(炸开) |
封装格式 | 自定义 | JSON | JSON(c/s自定义) |
高可用 | 运行集群高可用即可 | 无 | 集群(ZK) |
综上可以看出,实时数仓中Flink CDC使用起来最方便。