DLink采用Flink+Iceberg构建流批一体技术架构，解决离线实时数仓双倍资源消耗问题。统一技术栈包括数据存储、Catalog Manager、计算引擎、调度引擎和SQL引擎，实现数据生命周期的高效管理。通过实时数仓ETL场景展示DLink如何处理数据采集、转换、存储和分析，利用Iceberg的特性优化性能。DLink的统一元数据存储、数据存储和SQL引擎等技术创新提升了整体性能和易用性。
一、引言
在上期的两篇连载文章中，我们分析了Lambda 和 Kappa 架构固有的一些问题，同时也引出了流批一体架构的优势，本文就 FastData流批一体大数据平台DLink ，如何基于 Flink + Iceberg 流批一体技术及其实践进行初步探讨。
二、需求背景
传统的基于离线（比如 Hive）数仓有很高的成熟度和稳定性，但在一些时延要求比较高的场景，则需要借助实时数仓 Flink 的帮助，将延时降低到秒级（或分钟级），但两套并存的数仓架构，势必带来双倍的资源消耗和开发维护工作量。那么，是否存在可以将离线和实时任务、批处理和流式任务，统一放在一套架构中调度和运行的架构呢？答案自然是肯定的。这就是 Dlink 的统一技术栈。
三、DLink 流批一体技术架构
（1）统一技术栈
DLink整体技术方案的核心理念就是“统一”。从底层Data Stack 的角度看，包括5 个部分：
- 数据存储：首先是数据存储格式的统一。利用 Iceberg 基于快照的读写分离和回溯（backfill）、流批统一的写入和读取、不强绑定计算存储引擎、ACID 语义及数据多版本、表schema和 partition evolution 等能力。
- Catalog Manager：统一Data Catalog，兼容 Hive Meta Store 接口，可实现 Flink、Trino、Hive 等常用大数据分析、计算引擎的无缝接入和良好的互操作性。
- 计算引擎：Unified DataStream，Flink 引擎在 DataStream 和 Table API 中均支持 batch 和 streaming 两种执行模式。
- 调度引擎：流批一体调度
最低0.47元/天 解锁文章
扫一扫
1166
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
