国务院《“十四五”数字经济发展规划》明确了产业数字化与数字产业化的发展任务。
2022年12月19日中共中央、国务院《关于构建数据基础制度更好发挥数据要素作用的意见》“加快推进数据管理能力成熟度国家标准及数据要素管理规范贯彻执行工作,推动各部门各行业完善元数据管理、数据脱敏、数据质量、价值评估等标准体系。”(简称数据二十条)
2023年3月,根据国务院关于提请审议国务院机构改革方案的议案,组建国家数据局。负责协调推进数据基础制度建设,统筹数据资源整合共享和开发利用,统筹推进数字中国、数字经济、数字社会规划和建设等
一、DCMM简介
DCMM(Data Management Capability Maturity Assessment Model,数据管理能力成熟度评估模型)是由全国信标委大数据标准工作组(国家工信部信软司主导,多家企业和研究机构共同组成)研发,并于2018年3月15日正式发布,是我国在数据管理领域首个正式发布的国家标准,旨在帮助企业利用先进的数据管理理念和方法,建立和评价自身数据管理能力,持续完善数据管理组织、程序和制度,充分发挥数据在促进企业向信息化、数字化、智能化发展方面的价值。
DCMM模型是一个整合了标准规范、管理方法论、评估模型等多方面内容的综合框架,他将组织内部数据能力划分为八个重要组成部分,描述了每个组成部分的定义、功能、目标和标准。该标准适用于组织在进行数据管理时候的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。
二、DCMM结构组成
DCMM模型,按照组织、制度、流程、技术对数据管理能力进行了分析、总结,提炼出组织数据管理的八大过程域,即:数据战略、数据治理、数据架构、数据应用、数据安全、数据质量管理、数据标准、数据生命周期。这八个过程域共包含28个过程项,441项评价指标。
三、DCMM的能力等级划分
与CMMI类似,DCMM模型将组织的数据能力成熟度划分为初始级、受管理级、稳健级、量化管理级和优化级共5个发展等级,帮助组织进行数据管理能力成熟度的评价。
四、DCMM主要特点和内容
充分借鉴国际有影响力理论框架及方法,综合现有知识体系优点;针对我国国情,强调数据战略的统领作用;落地务实,强调数据应用的价值体现;强调数据标准和数据架构的规范作用;详细的评估模型,帮助、指导企业分析现状,选准发力方向
五、DCMM申请对象
数据拥有方(甲方):金融和保险机构、互联网企业、电信运营商、工业企业、数据中心所属主体、高校、政务数据中心等;
拥有大量数据,行业头部企业、集团公司等;
可以评估自身的数据管理和应用能力;
发现自身在数据管理方面存在的问题,并给出针对性的建议,帮助其提升数据管理能力水平。
数据解决方案提供方(乙方):数据开发/运营商、信息系统建设和服务提供商、信息技术服务提供商等。
帮助客户管理大量的数据,信息服务类企业;
评估自身对外提供的产品、服务的数据管理和应用能力;
通过该标准的落地实施,可以帮助数据解决方案提供方完善自身解决方案的完备度,提升自身咨询、实施的能力。
六、8个能力域中关键概念和方法介绍
数据治理
数据治理组织 - 架构&数据认责:
数据标准
主数据:是组织中需要跨系统、跨部门共享的核心业务实体数据,解决数据口径不一致问题。如:客户、产品、物料
参考数据:是将其他数据进行分类或目录整编的数据,参考数据是对定义的数据阈值进行控制,对相关参考数据值一致的,共享使用
指标数据:是组织经营分析过程中衡量某一个目标或者事物的数据,一般是由指标名称、时间、指标数值等组成
-
必须是可量化的,对于定性评价等不进行标准化定义
-
必须是常规性的,周期性的
-
且至少满足以下条件之一:使用扩组织层级、对外报送、报送高层、跨业务部门共用
数据架构
元数据(metadata):
数据分布:
System of Record (SoR) - 权威数据源:指数据最初来源的地方;数据仓库能得到的数据质量最好的源系统的数据
数据应用
数据分析:CRISP-DM(跨行业数据挖掘标准流程)
CRISP-DM 模 型, 通 常 将 数 据 挖 掘 的 整 个 过 程 划 分 为 6 个阶段:业务理解(Business Understanding)、 数 据 理 解(Data Understanding)、 数 据 准 备(Data Preparation)、模型搭建(Modeling)、模型评估(Evaluation)和模型部署(Deployment):
业务理解:从业务角度上全面了解客户的要求和最终目的,然后将这些业务理解转化为一个明确的数据挖掘问题,最后制定项目计划并设计初步方案。
数据理解:收集数据是数据理解阶段的第一步,也是整个数据挖掘项目的基础。为了对数据有初步的理解,接下来需要探索数据特征,进行简单的描述统计并核验数据质量。
数据准备:数据准备阶段将对原始数据进行变量选择、数据清洗、数据加工和数据整合以构建数据挖掘数据集。在整个数据挖掘项目过程中,有可能需要多次实施数据准备工作。
模型搭建:对于某类数据挖掘的需求,通常有多种方法和最佳实践可供选择使用。在模型搭建阶段,应根据数据挖掘项目的需求与特点,选择使用多种技术或方式搭建模型。
模型评估:全面评估备选模型的准确性、稳定性和性能等指标,从备选模型中遴选最佳模型,并回顾模型搭建的各个步骤环节,确保最佳模型与业务目标一致,除此之外还应与客户根据实际业务场景来共同决定如何使用模型的结果。
模型部署:搭建模型并不是数据挖掘的终极目的,更不是数据挖掘项目的结束标识,模型只是数据挖掘项目的交付物之一。搭建模型的目的在于应用于业务实践,解决业务问题,实现业务目标,这样才能真正实现数据挖掘的商业价值,这些都是在模型部署阶段完成的。
上述 6 个阶段的顺序并非一成不变,在不同的业务场景中,在不同类型的数据挖掘项目中,6 个阶段可以有先后不同的执行顺序,某个阶段也可能被多次执行。
数据质量
数据质量分析:RCA分析
1. 建立根本原因分析团队:数据人员、业务人员、技术人员
2. 问题定义:问题发生的流程、问题现象、证据清单、系统方位、组织范围
3. 问题原因分析:确定分析方法、头脑风暴、分析根本原因、分析影响因素
4. 问题处理:数据的纠正、系统修复
5. 问题预防:管理制度修改、数据标准修改、业务流程修改
数据安全
数据安全审计:
数据资产目录与盘点
-
盘点筹备
2. 元数据采集
3. 有效表识别
4. 重点表识别
5. 三态分析
6. 元数据信息完善
7. 数据标签管理
8. 构建系统级数据目录
参考资料
DCMM CDP初级考试资料
DCMM数据管理能力成熟度认证一、国家密集出台与数据管理相关系列政策国务院《“十四五” 数字经济 发展规划》明确了产业数... - 雪球