使用 Flink Hudi 构建流式数据湖

本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储，且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为：
1.背景
2.增量 ETL
3.演示

一、背景

近实时

从 2016 年开始，Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。通过 MR/Spark 的批处理模型，用户可以实现小时级别的数据注入 HDFS/OSS。在纯实时场景，用户通过流计算引擎 Flink + KV/OLAP 存储的架构可以实现端到端的秒级 (5分钟级) 实时分析。然而在秒级 (5分钟级) 到小时级时的场景还存在大量的用例，我们称之为 NEAR-REAL-TIME (近实时)。

在实践中有大量的案例都属于近实时的范畴：

1. 分钟级别的大屏；
2. 各种 BI 分析 (OLAP)；
3. 机器学习分钟级别的特征提取。

增量计算

解决近实时的方案当前是比较开放的。

• 流处理的时延低，但是 SQL 的 pattern 比较固定，查询端的能力（索引、ad hoc）欠缺；
• 批处理的数仓能力丰富但是数据时延大。

于是 Hudi 社区提出基于 mini-batch 的增量计算模型：

增量数据集 => 增量计算结果 merge 已存结果 => 外存

这套模型通过湖存储的 snapshot 拉取增量的数据集 (两个 commits 之前的数据集)，通过 Spark/Hive 等批处理框架计算增量的结果 (比如简单的 count) 再 merge 到已存结果中。

核心问题

增量模型需要解决的核心问题：

1. UPSERT 能力：类似 KUDU 和 Hive ACID，Hudi 也提供了分钟级的更新能力；
2. 增量消费：Hudi 通过湖存储的多 snapshots 提供增量拉取。

基于 mini-batch 的增量计算模型可以提升部分场景的时延、节省计算成本，但有一个很大的限制：对 SQL 的 pattern 有要求。因为计算走的是批，批计算本身不维护状态，这就要求计算的指标能够比较方便地 merge，简单的 count、sum 可以做，但是 avg、count distinct 这些还是需要拉取全量数据重算。

随着流计算和实时数仓的普及，Hudi 社区也在积极的拥抱变化，通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进：在 0.7 版本引入了流式数据入湖，在 0.9 版本支持了原生的 CDC format。

二、增量 ETL

DB 数据入湖

随着 CDC 技术的成熟，debezium 这样的 CDC 工具越来越流行，Hudi 社区也先后集成了流写，流读的能力。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储：

• 用户既可以通过 Flink CDC connector 直接将 DB 数据导入 Hudi；
• 也可以先将 CDC 数据导入 Kafka，再通过 Kafka connector 导入 Hudi。

第二种方案的容错和扩展性会好一些。

数据湖 CDC

在即将发布的 0.9 版本，Hudi 原生支持 CDC format，一条 record 的所有变更记录都可以保存，基于此，Hudi 和流计算系统结合的更加完善，可以流式读取 CDC 数据 [2]：

源头 CDC 流的所有消息变更都在入湖之后保存下来，被用于流式消费。Flink 的有状态计算实时累加计算结果 (state)，通过流式写 Hudi 将计算的变更同步到 Hudi 湖存储，之后继续对接 Flink 流式消费 Hudi 存储的 changelog， 实现下一层级的有状态计算。近实时端到端 ETL pipeline：

这套架构将端到端的 ETL 时延缩短到分钟级，并且每一层的存储格式都可以通过 compaction 压缩成列存（Parquet、ORC）以提供 OLAP 分析能力，由于数据湖的开放性，压缩后的格式可以对接各种查询引擎：Flink、Spark、Presto、Hive 等。

一张 Hudi 数据湖表具备两种形态：

• 表形态：查询最新的快照结果，同时提供高效的列存格式
• 流形态：流式消费变更，可以指定任意点位流读之后的 changelog

三、演示

我们通过一段 Demo 演示 Hudi 表的两种形态。

环境准备

• Flink SQL Client
• Hudi master 打包 hudi-flink-bundle jar
• Flink 1.13.1

这里提前准备一段 debezium-json 格式的 CDC 数据

{"before":null,"after":{"id":101,"ts":1000,"name":"scooter","description":"Small 2-wheel scooter","weight":3.140000104904175},"source":{"version":"1.1.1.Final","connector":"mysql","name":"dbserver1","ts_ms":0,"snapshot":"true","db":"inventory","table":"products","server_id":0,"gtid":null,"file":"mysql-bin.000003","pos":154,"row":0,"thread":null,"query":null},"op":"c","ts_ms":1589355606100,"transaction":null}
{"before":null,"after":{"id":102,"ts":2000,"name":"car battery","description":"12V car battery","weight":8.100000381469727},"source":{"version":"1.1.1.Final","connector":"mysql","name":"dbserver1","ts_ms":0,"snapshot":"true","db":"inventory","table":"products","server_id":0,"gtid":null,"file":"mysql-bin.000003","pos":154,"row":0,"thread":null,"query":null},"op":"c","ts_ms":1589355606101,"transaction":null}
{"before":null,"after":{"id":103,"ts":3000,"name":"12-pack drill bits","description":"12-pack of drill bits with sizes ranging from #40 to #3","weight":0.800000011920929},"source":{"version":"1.1.1.Final","connector":"mysql","name":"dbserver1","ts_ms":0,"snapshot":"true","db":"inventory","table":"products","server_id":0,"gtid":null,"file":"mysql-bin.000003","pos":154,"row":0,"thread":null,"query":null},"op":"c","ts_ms":1589355606101,"transaction":null}
{"before":null,"after":{"id":104,"ts":4000,"name":"hammer","