Flink、Hudi技术选型

Flink CDC 2.2的优势

相比Flink1.x，2.x的版本有如下的特点：

1) 并发读取，全量数据的读取性能可以水平扩展。

2) 全程无锁，不对线上业务产生锁的风险。

3) 断点续传，支持全量阶段的 Checkpoint。

Flink SQL的优势

1）Flink支持流批处理（支持有界数据和无界数据的处理）也就是流批一体。

2）支持轻量级快照机制，可以用于容错。

3）Flink是有状态的计算，相比storm无状态的计算来说很方便。

4）Flink是目前社区中唯一一款集高吞吐、低延迟、高性能于一体的流式计算框架

5）Flink支持Savepoint机制，可以方便用于运维，升级，扩容等。

6）FlinkSQL降低了开发门槛，可以更高效、快速开发流式任务。

Hudi的优势

目前市场上有三款主流的数据湖框架：Delta Lake，Iceberg、Hudi。Hudi相比其他两款而言，有如下优势：

1）行级别更新、删除操作。

2）变更流。解锁新的查询姿势。

3）借助于Hudi，构建湖仓一体架构。

Doris的优势

相比Clickhouse而言，Doris的优势如下：

1）海量数据下，多表join查询效率高

2）支持SQL标准，兼容MySQL协议

3）运维成本低，方便运维

相比Kylin、Druid而言，Doris的优势更明显。（支持存储明细数据+聚合后的数据）