交通银行-基于Flink+Hudi的实时数据湖建设

目前商业银行数据仓库主要采用基于MPP（Massively Parallel Processing）架构的离线数据存储计算方式，离线数仓的数据源主要以文件形式提供，由统一批量采集传输原始数据至客户端服务器，对数据进行清洗、转换、加载至MPP数据库贴源层，然后再经由明细层、汇总层逐层加工，形成轻、高度汇总模型，最终以批处理方式将数据下发到各应用系统使用。该实现方式的主要问题在于数据统计时延长，统计报表只能展示前一天甚至两天前。随着大数据存储技术和计算技术的快速发展，低延时、高并发的业务需求越来越多，上述高时延、低并发的离线数仓架构已经不能满足业务需求。基于此，本文提出一种基于Flink+Hudi的实时数据湖架构，实现秒级延迟和日均十亿级吞吐量的处理能力，提供商业银行数字化营销、客户画像、实时风险决策等各类实时服务能力和数据，有效支撑商业银行内部业务运营决策。

实时数据湖关键技术分析

本文以提升商业银行分析决策的实时性为目的，构建从底层数据源到上层应用服务的全流程数据加工框架。在数据处理的全流程阶段