中国农业银行——数据湖建设

【金融机构开源技术应用创新成果案例 第十五期】

中国农业银行——数据湖建设

技术领域：大数据

技术产品：Hudi、Alluxio、Flink、Atlas、Monaco Editor、AntvX6

业务场景：实时经营管理、实时运维管理、数据运营管理、数据开发

应用时间：2021年12月

一、案例背景

十三五期间，农业银行全面推进数字化转型，业务数据量不断增长，各部门用数需求愈发旺盛。数据种类方面，用户行为日志、客服语音、凭证图像、监控视频等半结构化和非结构化数据，能够为客户营销、风险控制等业务场景提供更多的数据参考，提升数据分析结果的精准度。数据时效方面，各部门对数据加工、数据开发、数据流转、数据治理的响应时间提出了更高的要求。资源成本方面，随着数据量的持续增长，如何提高大数据存储和计算资源利用率，节省资源成本，成为必须面对的现实问题。

金融行业的大数据平台通常按照数据仓库的理念建设，以结构化数据批量处理为主。在新的发展阶段下，大数据平台迫切需要提升以下四方面的能力：一是扩充数据处理范围，支持半结构和非结构化数据的自动化采集、存储、加工、服务；二是提升数据处理时效，加强实时数据采集、存储、计算、服务能力；三是提升数据开发和管理效率，数据需求到达后能够快速完成