为什么要做数据治理以及如何进行数据治理?

大家好,我是王老狮,今年工信部进行数据安全管理认证,公司很“幸运”的倍挑中进行试点执行,那么为了保证数据安全合规且满足数据管理等级的认证,今年做了很多的动作。那么就根据数据治理的一些经验给大家进行分享一下。

数据治理背景

政策背景

国内

• 2019年11月, 党的十九届四中全会在《中共中央关于坚持和完善中国特色社会主 义制度 推进国家治理体系和治理能力现代化若干重大问题的决定》 中首次明确数据作为生产要素参与社会分配。
• 2020年3月发布的《中共中央 国务院关于构建更加完善的要素市场化配置体制机制的意见》 中提出, 要加快培育数据要素市场, 推进政府数据开放共享, 提升社会数据资源价值, 加强数据资源整合和安全保护。
• 2020年5月发布的《中共中央 国务院关于新时代加快完善社会主义市场经济体制的意见》 中提出, 要加快培育发展数据要素市场, 建立数据资源清单管理机制, 完善数据权属界定、 开放共享、 交易流通等标准和措施, 发挥社会数据资源价值。 推进数字政府建设, 加强数据有序共享, 依法保护个人信息

海外

2019年12月, 美国发布《联邦数据战略与治理》
2020年02月, 欧盟发布《欧洲数据战略》
2020年09月, 英国发布《国家数据战略》

总结

  1. 多国将数据战略上升为国家战略
  2. 数据治理是促进数据价值实现重要保障
  3. 数据开放共享是释放数据价值基础条件
  4. 数据质量管理是释放数据价值的关键环节

技术背景

DIKW金字塔模型

DIKW金字塔模型 : 数据是基础, 数据质量是数据价值的根本

在这里插入图片描述

技术挑战

• 信息孤岛: 孤岛现象突出, 业务系统“各自为战”数据分散, 且数据已业务为导向
• 标准不统一: 未制定统一的数据标准, 各系统业务口径和技术定义差距较大
• 数据质量低: 各系统数据良莠不齐、 质量低数据格式不统一
• 数据管理成本高: 数据很难得到高效的组织与管理
• 数据共享难: 未建立数据全局数据共享机制, 实现数据互联互通
• 数据安全: 数据安全问题日益严峻
• 多模态: 数据不可用(非结构化数据)、 不能用(质量低) 、 不好用(未有效整合) 问题突出

数据治理的目标和意义

在这里插入图片描述

  • 数据架构:合理
  • 数据质量:提升
  • 数据标准:权威
  • 数据目录:清晰
  • 数据流通:共享
  • 数据价值: 放大
  • 数据安全:可控
  • 数据资产: 家底清、 底数明

目标: 进得来、 管得了、 治理好、 看得见、 控得住、 可共存
提升数据的使用价值

实施方法介绍

PAI实施方法论介绍

P:Process-oriented 流程化
提供工作流程与模板
将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段, 并规定每个阶段的输入输出内容及模板
A:Automation 自动化
提供产品与工具
产品(赋能) 包括: 资产管理平台、 标签管理平台、 资源服务平台、 BI
工具(提效) 包括: 针对数据接入、 开发、 调度等提供工具批量化实施
I:Intelligence 智能化
提供非结构化数据处理和分析能力, 及结构化数据治理效率和质量增强能力
非结构化: 文本、 视频、 语音等处理能力、 图谱构建能力
结构化: 数据标准化、 建模、 数据融合加工

四大能力建设

聚:数据汇聚能力,面对数据来源各异,数据类型纷繁多样,数据时效要求不一等各类情况,数据治理首先能把各类数据接入到平台中,“进的来”是第一步。

治:狭义数据治理能力,包括数据标准、数据质量、元数据、数据安全、数据生命周期、主数据。核心是保证数据标准的统一、借助元数据掌握数据资产分布情况及影响分析和血缘关系、数据质量地持续提升、数据资产的安全可靠、数据资产的淘汰销毁机制以及核心主数据的统一及使用。

通:数据拉通整合能力,原始业务数据分散在各业务系统中,数据组织是以满足业务流转为前提。后续数据需求是根据实际业务对象开展而非各业务系统,所以需要根据业务实体重新组织数据。比如政府单位针对人的综合分析通常会涉及:财产、教育程度、五险一金、缴税、家庭成员等,需要以身份证号拉通房管局、交通局、教育局、人社局、税务局、卫健委等多个委办局数据。数据拉通整合能力是后续满足多样化需求分析的基础,是数据资产积累沉淀的根基,也是平台建设的另一个重点。

用:数据服务能力,数据资产只有真正赋能于前端业务才能发挥实际效用,所以如何让业务部门快速找到并便利的使用所需数据资产是数据治理平台的另一项核心能力。

P:plan,标准、规划、流程制定;D:do,产品工具辅助落地;C:check,业务技术双重检查保证;A:action,持续优化提升数据质量及服务。

狭义数据治理

在这里插入图片描述

广义的数据治理

在这里插入图片描述

数据治理流程化介绍

数据类项目交付流程

在这里插入图片描述

数据治理流程化

在这里插入图片描述

数据治理自动化

在这里插入图片描述
在这里插入图片描述

产品赋能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 9
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
资料文件较多,压缩包有437M,包括但不限于一下内容: 大数据治理体系建设 数据仓库方案 质量管理 IT架构规划 银行业务系统 数据治理方法论及实践 数据治理大数据平台设计 E时代大数据安全治理解决方案 2020工业数据治理是企业实现数据资产价值变现的唯一途径 大数据安全威胁与防范对策(公开版) 大数据安全之系统最佳实践 大数据时代的数据治理 大数据治理之数据处理的那些事 数据驱动的全链路数据治理在网易严选的实践 数据治理的理论实践与发展趋势 数据治理和数字化转型 数据治理研究报告2020 数据治理之数据模型管控方案 数字化转型中的大数据治理架构 元数据治理在企业中的实践 数据治理服务解决方案 保险核心系统解决方案交流 大数据治理 大数据治理体系 论银行数据治理体系建设 面向数据与数据治理:商业银行信息化建设的转型方向 企业数据系列培训:数据治理那些事 全局数据治理 商业银行数据仓库系统V2.0x 数据仓库技术架构及方案 数据仓库建模与ETL的实践技巧 数据集市建设、数据质量及数据管理方法 数据治理及数据仓库模型设计 数据治理平台系统介绍 数据质量管理 数据质量管理规范 数据质量征途 通用元数据管理工具用户使用手册 银行核心业务系统介绍x 元数据及数据质量介绍x DAMA数据管理知识体系指南-全 IBM 数据治理统一流程 IT架构规划方法(规划培训精选) 中国银行核心系统总体介绍 大数据治理(高清PDF) 商业银行IT系统(原版) 万振龙:数据治理大数据平台设计 银行ODS整体架构及实施案例-mdc 元数据管理(中国电信) 中信银行数据质量元数据管理平台用户操作手册 中信银行ODS方案 DAMA_DMBOK_数据管理知识体系3.0

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王老狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值