【数智化案例展】杭州联合银行——DataOps助力提升银行数据管理能力

‍

网易数帆案例

本项目案例由网易数帆投递并参与数据猿与上海大数据联盟联合推出的《2024中国数智化转型升级创新服务企业》榜单/奖项评选。

大数据产业创新服务媒体

——聚焦数据 · 改变商业

---

在ABCD（人工智能、区块链、云计算、大数据）技术的创新驱动下，越来越多的商业银行开启数字化转型之路。

数字技术与金融的结合改变了传统金融机构业务模式，新兴金融科技正逐渐应用到客户服务、业务受理、信贷流程、运营管理、风险管理和经营决策等银行核心业务之中。

同时，日益增长的线上化业务办理需求，也促使银行业服务朝着数字化、智能化的阶段迈进。传统村镇银行的业务模式亟需变革，加快落实数字化转型，是实现村镇银行业务可持续发展的重要途径。

随着日益复杂的行业监管与内部管理要求，杭州联合银行主发起村镇银行原先基于DB2的数据平台越来越无法满足现阶段高并发、大批量、跨部门的数据需求。

由于数据质量差，指标口径不统一，数据开发、数据可视化等数据生产力工具缺乏，导致开发效率低，为应对监管部门数字化转型要求和杭州联合银行全行数字化转型的大背景，亟需建立一个统一的数据生产力平台来保障数字化转型的科技支撑。

时间周期：

开始时间：2022 年 6 月

截止时间：项目进行中

该项目包括了大数据开发治理平台、监管门户、自助取数平台，融合了实时计算、AI能力，并且与一套完善有效的数据治理机制水乳交融，已实现数据管理能力提升172%的预期效果，有力了支撑了行业监管和业务创新的重任。显示出网易数帆以DataOps为核心技术理念的产品矩阵在金融行业数字化转型中的价值。

数智化需求

数字化转型是一个长期的过程，通过技术平台支撑与核心能力的构建，最终需要达成提升数据技术、沉淀数据资产、释放数据价值、培养数据人才的目标效果。

网易数帆经过充分调研，结合村镇银行业务痛点，为杭州联合银行主发起村镇银行量身定制了一整套从技术平台支撑到核心能力构建，最终完成数字化转型的蓝图规划。

图：村镇银行数字化转型蓝图

面临挑战

数字化转型的核心是充分利用数字化技术推动组织管理和业务变革，提高发展质量，数据驱动于此为重中之重。

对于杭州联合银行主发起村镇银行而言，当前数据价值的发挥还存在多项挑战：

挑战1：制度落实缺抓手

制度落地缺少抓手，业务部门、技术部门数据治理工作缺乏定量的效果统计。一缺认责，无治理对接人，二缺考核，无考核则无重视。

挑战2：数据意识相对薄弱

由于战略属于高层次规划，依赖于银行内部的数据文化及数据共识，员工数据意识相对较为薄弱，部门间数据流通不顺畅，主观原因造成数据壁垒，影响各部门合力推进数据工作。

按照监管要求，银行业金融机构应当建立良好的数据文化，树立数据是重要资产和数据应真实客观的理念与准则，强化用数意识，遵循依规用数、科学用数的职业操守。

挑战3：缺少业务导向

数据规范、数据质量要求应该从业务层面导向，到技术层面落地，单纯从科技角度开展数据治理，数据难以反映真实业务情况。

挑战4：只治标不治本

监管数据问题很多需要在科技或人工层面通过映射关系解决，满足了报送需求，但在源系统层面并没有规范流程，导致实际问题无法解决。

挑战5：架构偏传统

原先的应用大多采用烟囱式架构，无法复用。性能差、扩展难、维护难、效率低，缺少顶层设计和工具支撑。

挑战6：数据应用能力不足

缺少全量数据分析的架构支撑，实时应用少，缺少智能化业务场景创新。

挑战7：数据质量不佳

指标口径不一致、缺少统一的治理和标准体系建设，导致数据壁垒现象频发，各系统、旧数仓各层数据交叉取数，数据链路不清。

挑战8：监管压力大

缺失监管数据集市，存在数据缺失补录，时效要求高，1104依赖手工台账，可能存在人工加工失误的风险。

挑战9：IT人力紧张

业务支持强依赖IT团队，急需平台化释放人力资源，响应速度有瓶颈，容易造成业务取数效率低。

针对上述问题，网易数帆和杭州联合银行主发起村镇银行经过充分沟通研判之后，基于网易数帆数据开发治理平台EasyData，将基于DB2的传统数仓逐步迁移到分布式大数据平台上，解决了取数用数的性能瓶颈问题，并建设了全行统一的一站式数据治理开发平台。

应用技术与实施过程

一、技术平台支撑

考虑到目前发展的现状及银保监、人民银行对金融业数字化转型的要求，村镇银行希望引入一套自主可控的大数据平台，对传统数据仓库进行替换，实现数字化技术底座的搭建。

网易数帆基于自身产品能力，提出了数据中台解决方案，该方案主要分为大数据集群和大数据开发套件两部分。

在大数据集群层面，本项目使用了网易数帆大数据基础平台（NDH）。NDH基于最新开源技术打造，并在Hadoop、Spark、Impala等多个核心组件做了功能增强，使其具有了自主可控、安全稳定、开发便利、智能运维等核心特性。

1、自主可控

NDH是整套完全自主掌握核心代码的大数据基础平台。如Hadoop，开源了安全回收站、元数据分析服务等特性，保障数据安全和平台稳定性。还有Impala、Spark、Hive等等大数据基础组件均进行了源代码级别的增强。

2、安全稳定

网易数帆大数据基础平台NDH集成了包括Ranger、Kerberos、LDAP等整套安全管理模块，并不同的组件进行了安全稳定上的优化和增强。

如上图：HDFS通过API进行数据删除时(如：Hive Drop Table操作)，数据不会进入回收站，导致数据开发在误操作(insert overwrite/ drop table)时会误删数据，通过增强回收站功能确保数据会先被保存到回收站。

3、开发便利

NDH还集成了Kyuubi（Kyuubi为基于Spark计算引擎上构建的SQL查询引擎，支持多租户隔离等特性），支持SQL on Spark，大大降低了数据开发门槛。

4、智能运维

通过构建任务、主机、服务之间的映射关系，在集群出现异常时，快速分析导致异常的原因，进而进行快速处理。

在大数据开发套件方面，该项目则是重点使用到了网易数帆数据开发治理平台（EasyData）及机器学习平台，涵盖离线开发、实时开发以及机器学习算法开发等能力，与大数据底座一起，完成了数据中台基础能力的构建。

① 数据开发治理平台（EasyData）

一站式数据开发治理平台，覆盖大数据开发，任务调度，数据质量，数据治理及数据服务等功能。

简单可视化的多人协作管理、开发，有效缩短开发周期；独创的数仓模型评估体系保障建模流程规范可控。

结构化地构建统计指标体系，保障指标体系唯一可信，避免重复性建设。

图：EasyData产品架构图

② 实时开发

基于 Apache Flink 构建的高性能、一站式实时大数据处理方案，通过标准 SQL 服务和更高级的代码定制服务，提供低门槛、专业化的实时计算集成开发环境。

图：产品架构图

③ 机器学习平台

基于高性能计算架构和大数据底层平台构建，旨在为AI开发者打造一站式、高性能的分析建模平台 功能覆盖算法开发、模型训练评估、在线推理预测建模全流程。

二、核心能力构建

本项目从架构和场景两个方面，对村镇银行数字化转型进行了核心能力的构建。

在架构方面，包括了数据治理、技术架构、数据架构、业务架构等。

1、数据治理

从数据标准、数据质量两个角度，结合数据治理体系架构，流程制度等规范的制定，对村镇银行数据进行了整体评估及治理。

依托于EasyData平台数据标准、数据质量模块，将数据治理成果进行了落地及监控，以数据质量报告及流程制度的把控相结合的方式，帮助村镇银行及时发现数据问题，解决数据问题，最终达到规范数据标准、提升数据质量的目的。

2、技术架构

以EasyData平台所提供的数据传输、离线开发、模型设计中心、数据地图等功能模块能力，实现了从传统数仓SHELL脚本+存储过程开发模式到数据中台一站式、可视化、可配置开发模式的转变。

另外引入了实时开发、机器学习两大平台，实现了实时、机器学习开发技术架构的搭建，为后续实时和算法场景搭建提供了技术支持。

3、数据架构

项目整体建设按照统一指标体系，统一数仓建设，统一分析平台，统一数据服务总体思路来构建数据架构。

统一指标体系

通过数据治理业务梳理分析，输出符合相关金融监管要求的数据标准，包括指标体系、指标清单、指标口径命名、指标加工逻辑等。

统一数仓建设

接入源端业务系统数据，结合使用离线开发和实时开发，在数据平台进行统一数仓建设。分为数据采集层、数据公共层、数据应用层。

• 数据采集层完成对源数据的采集，包括增量、全量、实时等采集方式。

• 数据公共层进行主题域划分，包括明细数据、维度数据、汇总数据。

• 数据应用层包含数据集市、实时和算法。

统一分析平台

统一数仓建设完成之后，模型支撑应用能力逐渐释放，一方面模型复用度更高，另一方面快速支撑上层应用，比如监管上报，报表分析，自助取数，形成高效便捷统一的数据分析平台。

统一数据服务

通过平台的数据服务模块，对外提供统一的数据服务能力，各个BI前端展示及外部应用调用API接口按需查询使用数据。

在场景方面，本项目规划从数字化合规、数字化管理、数字化运营、数字化风控四个方案进行构建场景化应用实现能力。

① 数字化合规

主要以人行金融基础数据上报、银监EAST5.0、1104上报等监管上报为内容，以网易数帆有数BI报告、门户为展现形式，构建集监管数据展示、下载、报备、监管数据质量报告展示以及监管指标监控等功能为一体的监管数据门户。

图：监管门户原型样例

② 数字化管理

在管理角度，后还规划建设各层级领导驾驶舱、绩效考核应用等等。

③ 数字化运营

在运营方面，规划从客户、产品角度进行深入分析，并依托有数BI便捷的跨终端能力（PC、PAD），为村镇银行客户营销等场景提供支持。

④ 数字化风控

在风控方面，计划结合业务实际情况，以及机器学习算法为预测手段，以短信、报告、API等形式为风险预测、欺诈识别等等场景需求提供支持。

商业变化

网易数帆数据开发治理平台EasyData作为DataOps和开发治理一体化的工程化实践，借鉴软件生产自动化的流程实现数据价值高质高效落地。

能够支撑杭州联合银行主发起村镇银行统一数据开发流程规范，形成数据质量监控机制，有效提升数据开发效率和质量，从而改进数据分析的效果。

根据针对涉及的数据治理、数据管控和数据应用等能力项测算，杭州联合银行主发起村镇银行的数据管理能力提升了172%。此外，该行也实现了“取数用数效率预计提升14倍，取数时间由预计7天+降低至0.5天”的效果。

而在监管报送方面，通过EasyData结合有数BI，杭州联合银行主发起村镇银行实现了全行级监管报送管理体系，建设了以业务台账为基础的监管集市，和在线化、自动化、可视化的监管门户。

近百张1104报送报表涉及台账模型的设计，以及台账到1104报送报表的加工逻辑，均已在EasyData落地。

目前，杭州联合银行主发起村镇银行已上线了约10大基础台账和12项衍生台账，支撑报表生成，共维护了将近117项1104字段，实现从源头治理，从而确保监管报送数据的准确性、规范性、完整性、一致性。

整个项目的实施，不仅提高了监管报送工作整体效率，也借此机会培养了一批专业的统计人员，使得业务与科技间配合更加深入。

图：项目成效

截至目前，网易数帆已经服务近200家金融行业客户，实现数据价值在合规、管理、运营和风控等核心场景的全面开花。正是与众多行业头部客户长期的亲密合作关系，使得网易数帆能够深挖行业需求持续打磨技术方案，并形成了数据生产力模型，用以引导数据应用价值稳步落地。

借助数据生产力模型，网易数帆将长期耕耘行业所沉淀的先进理念与创新成果输出，将继续帮助行业用户全面提升创新能力和核心竞争力，促进数字化技术与产品的规模化推广应用，进而为我国数字经济的高质量发展注入新动能。

关于企业

·网易数帆

历经二十余年技术沉淀，网易数帆聚焦全链路数据开发治理及分析，以全面的大数据技术、产品及服务，为企业量身打造领先、稳定、可控、创新的全链路数据生产力平台，服务企业“看数”、“管数”、“用数”等业务场景，盘活数据资产。

网易数帆的产品与技术现已成熟应用于金融、国央企、制造等行业，成功助力华泰证券、东北证券、浙江国贸、浙江电信、广州公交集团、通威股份、格力、OPPO、九州通、三只松鼠等四百余家大中型企业全面释放数据价值。

点击文末左下角“阅读原文”链接还可查看“网易数帆”官网

·杭州联合银行

杭州联合银行，全称“杭州联合农村商业银行股份有限公司”，由杭州市区农村信用社联合社及辖属23家信用社整体改制为农合行，2011年由农合行改制为农商行。目前注册资本21.80亿元，拥有137家营业网点，员工3000余人，是杭州主城区营业网点最多的金融机构。

作为一家地方性中小金融机构，我行始终坚持以服务市民、小微企业和地方社会经济发展为己任，主动顺应经济新常态、金融新业态和行业新格局，聚焦零售业务、公司业务、金融市场业务“三大板块”，推进“五大银行”建设，专注“六大能力”提升，形成了具有自身特色的“社区银行”发展战略，打造出城市普惠金融服务新样板，树立了“做广大市民信任的银行”形象，获得了良好的经济效益。2024年6月末，我行资产总额超4778亿元，各项存款余额超3538亿元，各项贷款余额超3090亿元，服务客户超410万户。

★以上由网易数帆投递申报的项目案例，最终将会角逐由数据猿与上海大数据联盟联合推出的《2024中国数智化转型升级创新服务企业》榜单/奖项。

该榜单最终将于7月24日北京举办的“2024企业数智化转型升级发展论坛——暨AI大模型趋势论坛”现场首次揭晓榜单，并举行颁奖仪式，欢迎报名莅临现场：