银行机构数据治理案例解读,构建全行数据资产体系

近年来,随着信息化、数字化、智能化的快速发展,数据从资源逐渐转变为资产。金融行业具有海量数据资源和丰富应用场景优势,在企业经营管理、产品研发、技术创新等关键环节中发挥着重要作用。数据治理作为释放数据价值的基础,在推动银行数字化转型的过程中扮演了“承上启下”的关键角色。

通过数据治理咨询,结合数据平台建设和数据应用实施,构建科学的组织架构体系,完善数据治理流程制度与规范,建立数字化协同机制,整合并打通银行内多源、零散的异构数据体系,构建全行业数据资产体系,完善数据权限、数据血缘、数据质量、分级分类等管理体系,借助数据产品对数据资产进行深度加工挖掘价值,面向零售、风险、财务等输出更加全面的数据及统计指标,推动银行业务数字化转型。

银行机构数据治理解决方案

基于数据盘点构建全行级数据资源目录

数据资产盘点有实体盘点,第一点是设计分类框架,为了方便对数据资产进行管理,需要对数据资产进行分类,按照业内惯例,一般分为三级分类。分类依据可参考企业的流程框架,按照业务分类进行分类。

第二点是明确盘点范围,对人力、财务、营销业务系统中的业务对象进行盘点,需要系统开发人员、业务人员共同参与,解决梳理过程中遇到的业务和技术问题。

第三点要注意盘点的内容,也就是盘点业务实体对象

除了实体盘点外还有数据项盘点。数据项的盘点依赖于实体的盘点,每个实体有若干个数据项,数据项是业务开展的基础属性,这些属性可以从业务系统界面获取,也可以从后台获取。

file

基于数据标准的规范化ETL数据建模体系

数据标准是进行数据标准化、消除数据业务歧义的主要参考和依据。对数据标准进行分类,将有利于数据标准的编制、查询、落地和维护。数据标准有多种分类方式,对于不同的分类方式,均可采用以数据元为数据标准制定的基本单元构建数据标准体系。

数据可以分为基础类数据和指标类数据。基础类数据指业务流程中直接产生的,未经过加工和处理的基础业务信息。指标类数据是指具备统计意义的基础类数据,通常由一个或以上的基础数据根据一定的统计规则计算而得到。

相应地,数据标准也可以分为基础类数据标准或指标类数据标准。基础类数据标准是为了统一企业所有业务活动相关数据的一致性和准确性,解决业务间数据一致性和数据整合,按照数据标准管理过程制定的数据标准。指标类数据标准一般分为基础指标标准和计算指标(又称组合指标)标准。

基础类数据标准和指标类数据标准通过分别建立基础类数据元和指标类数据元,并将基础类数据元和指标类数据元与数据映射,实现基础类数据标准和指标类数据标准的落地。

具体来说,对于结构化数据中的任意一个字段,当其不具备指标特征时,可直接将其与某一业务类别下的基础类数据元(如包含命名规则、数据类型和值域等属性)映射,实现该字段的标准化(符合命名规则、数据类型和值域的规定);当其具备指标特征时,可直接将其与某一业务类别下的指标类数据元(如命名规则、约束规则、数据类型和值域等)映射,实现该字段的标准化(符合命名规则、约束规则、数据类型和值域的规定)。

file

基于法律法规构建数据分级分类体系

根据《个人金融信息保护技术规范》(JR/T 0171-2020)及《某银行数据安全管理办法》要求,个人客户C3、C2类别信息在后台管理与业务支撑系统展示时,除银行卡有效期外,C3 类别信息不应明文展示;C2类中支付账号、客户法定名称、支付预留手机号码、证件类或其他类识别标识信息应当做遮蔽处理,且不提供批量查询和批量下载功能。

如特殊情况C2类上述敏感字段仍需完整展示或明文下载,则必须有如下管控措施:

1)需求提出部门必须限定最小用户使用范围,并经过本部门总经理(如果是分行,则为分行主要负责人)审批授权。审批单参照《某银行个人分类分级数据授权审批单》,并在OA项目需求发起时必须含有该审批单附件。

2)系统内应当做好相关角色权限的设置和管控。

3)C2类中支付账号、客户法定名称、支付预留手机号码、证件类或其他类识别标识信息前台页面展现需增加水印处理,禁止复制粘贴;且批量下载时文件必须通过DRM加密,并经过审批授权流程,审批授权至少至分管部门总经理或分行主要负责人。

4)个人客户C2类敏感信息在做批量查询或者下载必须有审计日志功能,必须明确谁在什么时间,什么场景使用,使用权限范围,审批流程等,日志支持前台页面查询。

5)所有数据使用均遵循“谁使用谁负责”的原则。

6)以上管控措施涉及应用系统开发的,应该在开发全流程中形成闭环管控机制(包含相关业务需求的提出到业务验收测试环节)。对于涉及上述敏感信息展示但没有提供经领导审批的《某银行个人分类分级数据授权审批单》,一律不予启动开发。

7)涉及业务部门授权审批的管理环节,需求提出部门需要做好相关审批授权文档的存档,以备后续审查。

file

银行机构数据治理交付内容

数据治理咨询

协助完善数据治理组织架构(涵盖数据治理决策层、管理层和执行层)及数据治理相关的制度、流程和评估标准。完善数据标准,完成10个系统的数据对标,并完成主数据和元数据的梳理。建立数据质量的检核、整改、评价等工作流程,提升数据质量。制定数据资产盘点、评估与管理工作机制,完成10个系统的数据资产盘点。构建指标管理体系,协助梳理全行基础指标。

数据平台建设

数据平台包含数据治理平台和数据应用平台,实现数据的“管、 治、用”。数据治理平台提供离线开发、数据标准、数据建模、数据质量、主数据、元数据、指标管理、数据资产和数据安全等功能,实现数据开发与治理一体化。数据应用平台包括数据智能分析模块,提供有效的数据分析工具,满足灵活性、安全性和便利性。

数据应用实施

完成面向大数据平台的数据血缘关系梳理。重构大数据平台中间层(200 张表)数据模型,并进行落标实施。根据数据质量检核规则,在数据平台上对源头数据和结果数据进 行规则稽核。

结合营销与风控应用场景,完成至少200个基础指标加工。提供不少于 5 个建模场景要求的数据支持和不少5个应用场景的功能支持(开展数据自主分析、开发报表和管理驾驶舱等)。

银行机构数据治理建设成果

数据治理成果

一是数据治理战略目标,治理顶层设计、治理目标、治理运营、治理成果等数据治理相关的战略规划设计材料。

二是治理组织及规章,设计某银行数据治理组织架构,并根据数据治理目标定制相关的规章制度来保障治理落地。

三是治理实现路径,明确某银行数据治理工作的实施路径,细化数据治理工作的关键步骤并交付相关文件给某银行。

四是治理考核及运营,结合某银行数字化考核目标制定数据治理考核方案,并提供数据治理支持运营及优化的方法论材料。

五是数据资产目录,梳理某银行业务系统、数据仓库的数据资源,完善数据各项属性元数据,构建全行级数据资产目录

六是数据标准体系,梳理某银行现有的数据内容,搭建围绕基础类数据和指标类数据两大标准体系,并完成历史数据落标工作。

七是分级分类体系,按照人行数据分级分类指南相关规划构建某银行数据分级体系,并完成历史数据的分级分类工作。

八是数据治理体系,围绕人行、银保监数据报送校验规则结合某银行数据加工过程校验规则,构建全行级数据质量监控规则体系。

平台实施成果

一是大数据平台血缘解析,某银行ImpalaSQL的ETL任务进行数据血缘解析,包括表血缘、字段血缘等信息,同时借助袋鼠云数据平台实现跨系统数据交换的血缘关系。

二是数据质量规则体系搭建,围绕银保监East4.0/5.0数据质量规范,构建监管数据检核规则,包括监管报表单体校验、跨系统数据校验(1104与East)、溯源数据质量检验等信息。同时,根据人行反洗钱监管要求构建交易对手信息检核满足人行反洗钱检查要求。

三是大数据模型重构,根据某银行项目要求重构大数据平台中间层(近200 张表)数据模型,通过数据模型平台进行模型设计、模型建标和模型落标,并通过行内现有数据进行模型验证。

四是指标体系设计及搭建,结合某银行在信贷营销与风控领域的应用场景调研指标体系,并针对业务实际需求完成至少200个基础指标加工及复杂衍生指标搭建;梳理数据资产(包括核心、信贷、 网贷等至少10个系统)并搭建数据资产目录;根据监管及内部管理需求梳理数据标准体系并通过平台落地;围绕人行金融数据分级分类规范搭建某银行数据分级体系并结合银保监数据加密规范实现数据安全保障体系

五是数据分析场景服务,根据某银行应用需求提供不少于 5个建模场景要求的数据支持和不少于 5 个应用场景的功能支持开展数据自主分析、开发报表和管理驾驶舱等。

《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szcsdn

同时,欢迎对大数据开源项目有兴趣的同学加入我们,一起交流最新开源技术信息,号码:30537511,项目地址:https://github.com/DTStack

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
A叩licationl栏目编辑:张丽霞 WI 大数据、人工智能等为代表的金融科技迅猛友展,深刻改变着我国银行业的服务业态和经营发展模式, ] » 推动着银行业的改革、创新与友展。数据治理则是金融行业的一项长朋性基础工作,在大数据时代背景下, 如何做好数据治理成为了行业同仁关庄的重要话题。本期技术专题邀约金融行业专家,围绕"大数据郎系下 的数据治理以及数据支全保护"等相关话题,逬行思想碰撞与交痂,以飨读者。 大数据伽系下的数据治理数据支全保护 文"中国工商银行软件开发中心总经理助理 张旻 2张旻 工学学士,高级工程师。 现任中国工商银行软件 开发中心总经理助理。 历任中国工商银行软件 开发中心杭州开发一部 总经理,架构办公室总 经理。 着金融创新的快速发展,商业银行积累的 数据量呈现几何倍数增长,数据来源也从 传统的结构化数据逐渐扩展到以网络日志、社交 媒体为代表的半结构化和非结构化数据。为此中 国工商银行运用分布式技术建设高容量、可扩展 的大数据服务平台,实现PB级海量数据存储, 提供存储全、质量准、釆集快、使用易的企业级 大数据能力,广泛应用于精准营销、客户服务、 风险管控、经营分析、监管报送等业务领域。 在大数据体系下,数据存储容量大,数据类 型多样,数据的潜在价值巨大,且随着数据高速 增长,银行业面临两大挑战,一是对于多样的、 复杂的数据如何保证数据质量;二是海量的数据 如何保证数据安全。中国工商银行依托于自主建 设的大数据服务平台,建立完整的大数据治理体 系和数据安全保护机制,加强数据治理和安全保 护,推进数据的深入挖掘和智能化应用,发挥大 数据价值,助力智慧银行建设。 建立数据治理的组织保障机制,全面推 动数据治理工作 1. 依托现有的组织架构,明确各机构数据 治理职责。数据治理全行性的工作,需要科技、 业务等各方面的通力合作。中国工商银行数据治 理组织机构包含内部审计局、内控合规部、金融 科技部、管理信息部等部门,分别负责数据治理 的决策、执行、监督、报告、审计等职责。 2. 建立制度规范体系,规范数据治理工作机 制。中国工商银行制订数据治理的管理制度和技 随 52 « Jul.2DI9 IA叩lication 廳豳詞 术规范,管理制度主要明确数据标准、数据质量、数据安全等 治理领域的岗位、职责、流程等管理要求,规范数据治理工作 机制;技术规范明确系统研发和运维等方面的实施要求,确保 数据在产生、处理、传递、应用过程中的数据一致性、完整性 和准确性。 3.建立涵盖事前预防、事中监测' 事后评估改进的全生 命周期数据治理流程,保障数据治理的有效推进。(1)事前预 防。将各领域数据治理要求融入到系统研发的各阶段中,实现 硬控制,从数据产生的源头进行管理。(2)事中监测。在日常 业务开展及IT运维过程中,监测数据质量情况,发现问题及 时跟踪治理。(3)事后评估改进。定期对系统展开全面的数据 治理状况评估,从问题率、解决率、解决时效等方面建立评价 指标,并对存在问题进行改进。 建立数据标准伸系,推动全行数据标准化 数据标准是数据治理体系的基础,是保障、改进和提髙 数据质量的重要措施。大数据服务平台集成海量的、多样化的 数据,更加凸显数据标准的重要作用。中国工商银行通过制订 企业级数据标准、建设数据标准管理服务系统、推动数据标准 贯彻应用和硬性控制等措施推动全行数据的标准化。 1. 制订企业级数据标准 ,为数据共享夯实基础。中国工 商银行参考国家标准和行业标准,结合业务系统现状,坚持"定 义统一、口径统一、名称统一、来源统一、参照统一"的数据 标准编制原则,建立了统一的企业级数据标准,覆盖当事人、 产品、协议、账户、介质、地理位置、资源项、事件、渠道和 通用十大标准主题,实现全行上下对基础数据和指标数据的一 致性理解,为大数据体系下的数据共享奠定基础。 2. 建设数据标准管理服务系统,为建标、贯标提供系统 支撑。为推进数据标准的落地,中国工商银行于2010年建设 了国内金融行业首个全行级信息标准管理服务平台,管理全行 数据标准,实现数据标准的建立、变更、发布、查询、废止等 全生命周期管理。同时通过和元数据管理系统联动,实现数据 字段关联标准与合标校验,确保字段的长度、精度、字典值精 确符合标准,完成数据标准落地。 3. 推动数据标准贯彻应用和硬性控制。全行机构在制 订规范制度、撰写经营分析报告、编写业务需求等场景,对于 涉及的基础数据项和关键指标要求必须采纳数据标准;对于增 量数据,将数据贯标纳入研发全流程,并通过系统实现硬控制, 确保数据标准的贯彻应用;对于存量数据,结合IT架构转型、 应用重构等重大项目开展存量系统贯标改造。 4. 定期对信息系统合标情况进行监督和检查。针对合标 率较低的信息系统将予以通报,并要求

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值