大家好，我是独孤风，一位曾经的港口煤炭工人，目前在某国企任大数据负责人，公众号大数据流动主理人。在最近的两年的时间里，因为公司的需求，还有大数据的发展趋势所在，我开始学习数据治理的相关知识。
数据治理需要进行系统的学习才能真正掌握，也需要进行专业的考试认证才能证明自己在数据治理方面的学习能力和知识掌握情况。如果对数据治理和数据治理认证CDMP有疑问的话，可以参考我之前的文章，有详细的介绍。
5000字详解数据治理如何入门（附国际数据治理认证考试-CDMP学习群）
正文共： 6666字 19图
预计阅读时间： 17分钟
本文档基于数据治理相关学习资料整理，为数据治理专业认证CDMP的学习笔记（思维导图与知识点）整理。文章较长，建议收藏后阅读。后续的文档请关注公众号 大数据流动，会持续的更新~
本文档为数据管理章节部分学习笔记，思维导图与知识点整理。共分为4个部分，由于页面显示原因，部分层级未能全部展开。结构如下图所示。
正文开始~
我们一部分一部分来说~
第一部分 引言
第一部分，引言。这部分其实是为了说明做数据管理的一些背景，数据管理的定义，是什么因素导致了数据管理的出现等等。
首先，我们要先明确几个定义，数据管理和数据管理的人员。
数据管理（Data Management）：为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中制订计划、制度、规程和实践活动，并执行和监督的过程。
数据管理专业人员（Data Management Professional）指从事数据管理各方面的工作（从数据全生命周期的技术管理工作，到确保数据的合理利用及发挥作用），并通过其工作来实现组织战略目标的任何人员。
这是两个数据管理最基本的概念，数据管理就是为了提升数据信息资产的价值，参与人员有技术的，也有业务的。数据管理是技术和业务配合完成的。
很明显，是业务驱动了数据管理的出现，那么第三个知识点来了，数据管理的业务驱动因素：主要是使组织能够在数据资产中获得价值。数据管理做的好的企业和不好的区别巨大，这也就是数据管理的意义所在，这就是企业开展数据管理的驱动因素。
在做事情之前，要前明确下目标，才能有方向，那么第四个知识点来了，管理数据的目标：有6条，1）理解并支撑企业及其利益相关方的信息需求得到满足。2）获取、存储、保 护数据和确保数据资产的完整性。3）确保数据和信息的质量。4）确保利益相关方的数据隐私 和保密性。5）防止数据和信息未经授权或被不当访问、操作及使用。6）确保数据能有效地服务于企业增值的目标。
这6条不太好记忆，简单来说就是满足组织和利益方的需求，确保数据完整性。确保数据质量。注意数据隐私和保密性。防止不当操作。服务企业增值目标。
我整理了这部分的思维导图，方便理解：
第二部分 基本概念
这一部分介绍数据管理的基本概念，初学的话可能对数据，信息等概念容易混淆，通过这部分学习可能更加清晰。
数据和信息
数据：原始素材，来源于各种对象，是信息的原材料。
信息：加工之后的数据，在上下文语境中的数据。
这块我找到了一个DIKW的模型图，看了这个，就很容易理解数据、信息、知识和智慧的关系了。
同时，在企业中的数据又有着其特点，在企业中的数据已经成为一种资产。数据是可以和金钱一样有价值的，可以被衡量的。通过数据可以获得洞察力来影响企业发展，这就是数据驱动。用数据驱动公司发展已经成为了一种共识。
数据管理12原则
下面就是一个非常重要的知识点，在数据管理中需要遵循一定的原则，这里也做了总结，常被称为数据管理12原则。
1、数据是独特属性的资产。和金钱，别的物品，数据不会损耗，但会随着时间推移价值发生变化。
2、数据的价值可以用经济术语表示。既然是资产，就可以和经济相关。
3、管理数据意味着对数据质量的管理。因为数据质量会影响其价值。
4、管理数据需要元数据。这个不用说了，做技术的都懂。
5、数据管理需要规划。涉及到协调就需要规划。
6、数据管理需要驱动信息技术决策。这是一个权力的问题，技术应该为数据管理来服务。
7、数据管理的跨职能的工作。业务与技术的配合。
8、数据管理需要企业级视角。需要整个企业来配合，才能有效果。
9、数据管理需要多角度思考。主要在于数据不是一成不变，技术和业务都在变。
10、数据管理是全生命周期的管理。这个比较明确，必须从数据产生到处置全流程管理。
11、需要将数据相关的风险纳入数据管理。丢失、盗用、误用都是很大的风险。
12、有效地数据管理需要领导层承担责任。协调和人员使用，都需要领导层的推动。（给钱）
12个数据管理原则，通过下面的图更好记忆。该图将这些原则进行了分类。
该图可以按这样的顺序来记忆：
首先，有效数据管理需要领导层承担责任。
数据是有价值的：1、数据是有独特属性的资产 2、 数据的价值可以用经济术语表示
数据管理需求是业务的需求：
1、管理数据意味着对数据质量的管理
2、管理数据需要元数据
3、数据管理需要规划
4、数据管理需要驱动信息技术决策
数据管理依赖不同技能：
1、数据管理的跨职能的工作
2、数据管理需要企业级视角
3、数据管理需要多角度思考
生命周期：
1、数据管理是全生命周期的管理
2、需要将数据相关的风险纳入数据管理
数据管理的13挑战
原则代表了数据管理中需要遵循什么样的准则，虽然非常理论，但其实在实际中有任务一条没满足，数据管理的工作都会有很大问题。
有原则就会有挑战，在进行遵循这些原则进行数据管理的时候，我们会遇到怎样的挑战？
下面这个知识点，数据管理13挑战。
1、数据与其他资产的区别。数据与其他资产有很大区别：无形，不损耗，价值随时间降低。难以定价，定所有权。
2、数据价值。
数据价值的衡量需要考虑很多。
成本和收益：1、获取和存储数据需要成本。2、数据丢失更换数据需要成本。3、数据丢失对组织影响。4、风险成本。5、改进数据成本。6、高质量数据有优势。
7、竞争对手为数据付出费用。8、数据潜在的销售价格。9、创新应用数据预期收入。
挑战：数据价值是上下文相关的，随时间变化。
将财务价值与数据建立关联至关重要。
3、数据质量。
确保高质量数据是数据管理核心。
数据质量的现状很差，主要在于IT系统对数据质量的不重视，低质量的数据很产生巨大的维护成本。
低质量数据成本：
1）报废和返工。2）解决方法和隐藏的纠正过程。3）组织效率低下或生产力低下。4）组织冲突。5）工作满意度低。6）客户不满意。7）机会成本，包括无法创新。8） 合规成本或罚款。9）声誉成本。
高质量数据的作用：
1）改善客户体验。2）提高生产力。3）降低风险。4）快速响应商机。5） 增加收入。6）洞察客户、产品、流程和商机，获得竞争优势。
4、数据优化计划。
要做好规划，才能在数据中获取价值。
需要思考下面的问题：
1、数据也许被视为独立于业务流程的存在。
2、业务流程与支持它们的技术之间的关系。
3、系统的设计和架构及其所生成的存储的数据。
4、使用数据的方式可能被用于推动组织战略。
5、元数据和数据管理。
组织需要可靠的元数据来管理数据。元数据可以描述：拥有什么数据，它代表什么，如何被分类，来自哪里，如何被移动，如何在使用中变化，谁可以使用它，是否为高质量数据。
元数据是全面改进数据管理的起点。
6、数据管理是跨职能的工作。
数据管理很复杂，需要不同阶段由不同团队来进行不同管理。
挑战就是如何协作。
7、建立企业的视角。
数据是组织中的“横向领域”，跨域了不同垂直领域，如销售，运营。
数据治理重要的原因是帮助组织跨垂直领域做出数据决策。
8、数据管理需要多角度的思考。
考虑国家和行业法规和政策，监管，合规要求。
9、数据生命周期。
数据生命周期有几个非常重要的影响：
1 创建和使用是数据生命周期中的关键点；2 数据质量管理必须贯穿整个数据生命周期；3 元数据质量管理必须贯穿整个数据生命周期；4 数据管理还包括确保数据安全，并降低与数据相关的风险。5 数据管理工作应聚集于关键数据。
10、不同种类的数据。
有不同的分类方式。如类型，内容，格式，级别，存储和访问方式。
比如按数据类型可以分为：交易数据，参考数据，主数据，元数据等等。
11、数据和风险。
数据不仅代表价值，也代表风险。
监管者和立法者会采取适当的措施。
消费者也了解他们的数据如何被使用，希望信息得到保护。
12、数据管理和技术。
数据管理和技术关系密切。与业务战略一致的数据战略应该推动技术的决策。
13、高效的数据管理需要领导力。
成功的数据管理必须业务驱动，数据管理成功需要坚定地领导和各级人员参与。
成功的数据管理应该由业务驱动，而不是IT。
数据管理战略
战略是一组选择和决策，是为实现高水平目标而采取的高水平行动。
数据管理战略的组成：
1）令人信服的数据管理愿景。2）数据管理的商业案例总结。3）指导原则、价值观和管理观点。4）数据管理的使命和长期目标。5）数据管理成功的建议措施。6） 符合 SMART 原则（具体、可衡量、可操作、现实、有时间限制）的短期（12～24 个月）数据管理计划目标。7）对数据管理角色和组织的描述，以及对其职责和决策权的总结。8）数据管理程序组件和初始化任务。9）具体明确范围的优先工作计划。10）一份包含项目和行动任务的实施路线图草案。
数据管理战略规划的可交付成果：
1 数据管理章程：总体愿景、业务案例、目标、指导原则、成功衡量标准、关键成功因素、可识别的风险、运营模式等。2 数据管理范围声明：规划目的和目标（通常为 3 年），以及负责实现这些目标的角色、组织和领导。3 数据管理实施路线图：确定特定计划、项目、任务分配和交付里程碑。
这部分每一个点的内容都较多，但整理结构还是很清晰的，整理了这部分的思维导图，方便理解：
第三部分 数据管理框架
在学习数据管理的过程中，需要一定的框架才能体系化的学习。
体系化的东西通过图形的方式功能表示出上下层级结构，也能更好的理解。目前主流的有五个框架。分别来看一下这几个框架都代表了什么，并用框架图的方式来理解。
战略一致性模型（SAM）：它抽象了各种数据管理方式的基本驱动因素，模型的中心是 数据和信息之间的关系
阿姆斯特丹信息模型(AIM)：与战略一致性模型一样，它抽象出一个关注结构（包括规划和架构）和策略的中间层。
DAMA-DMBOK框架
这也是我们学习的重点，CDMP考试的所有考点所在。理解DAMA-DMBOK框架需要三张图来表示。
DAMA车轮图，定义数据管理的知识领域。
环境因素六边形图：显示了人、过程和技术之间的关系，是理解 DMBOK 语境关系图的关键。
知识领域语境关系图：描述了知识领域的细节，包括与人员、流程和技术相关的细节。数据治理 活动通过战略、原则、制度和管理提供监督和遏制。通过数据分类和数据估值实现一致性。
DMBOK金字塔(Aiken)
另一个解释DMBOK的图形，描述了组织发展实践的过程。将过程分成了四个阶段。
第一阶段，使用数据的应用程序
第二阶段，一致的数据架构和元数据收集，数据质量提升
第三阶段，数据质量，元数据和架构得到严格实践
第四阶段，从数据管理中得到进步
DAMA数据管理框架进化
DAMA功能依赖关系图：商务智能和分析依赖于其他的数据管理功能。
DAMA数据管理功能框架：说明DAMA知识领域之间的关系。
DAMA车轮图演变：车轮图的另一种表示，数据治理相关围绕着各项核心活动。
这部分内容不多，整理结构也很清晰，主要在于每个图的理解。整理了这部分的思维导图，方便理解：
第四部分 DAMA和DMBOK
DAMA为了应对数据管理的这些挑战，为数据管理相关人员提供一本权威的参考书。编制了DMBOK。
支持DAMA的使命：
1、为实施企业数据管理实践提供功能框架。
2、为数据管理概念建立通用词汇表。
3、作为数据管理人员专业认证（CDMP）和其他数据治理认证的指南。
基于DAMA车轮图，DMBOK将介绍这些知识领域的内容，分别是:
数据治理(Data Governance) ，建立一个企业数据决策体系，为数据管理提供指导和监督。
数据架构(Data Architcture)， 建立战略性数据需求及满足需求的总体设计
数据建模和设计( Data Modeling and Design) ，以数据模型( Data Model)的精确形式，进行发现、分析、展示和沟通数据需求
数据存储和操作( Data Storage and Operations)， 以数据价值最大化为目标，包括存储数据的设计、实现和支持活动以及在整个数据生命周期中，从计划到销毁的各种操作活动。
数据安全( Data Security)， 确保数据隐私和机密性得到维护，数据不被破坏，数据被适当访问
数据集成和互操作( Data Integration and Interoperability) ,包括与数据存储、应用程序和组织之间的数据移 动和整合相关的过程
文件和内容管理( Document and Content Management) ,用于管理非结构化体数据和信息的生命周期过程，包括计划、实施和控制活动，尤其是指支持法律法规遵从性要求所需的文档
参考数据和主数据( Reference and Master Data) 包括核心共享数据的持续协调和维护，使关键业务实体的真实信息以准确、及时和相关联的方式在各系统间得到一致使用
数据仓库和商务智能( Data Warehousing and Business Intelligence) 包括计划、实施和控制流程来管理决策支持数 据，并使知识工作者通过分析报告从数据中获得价值
元数据( Metadata), 包含规划、实施和控制活动，以便能够访问高质量的集成元数据，包括定义、模型、数据流和其他至关重要的信息(对理解数据及其创建、维护和访问系统有帮助)
数据质量( Data Quality) ,包括规划和实施质量管理技术，以测量、评估和提高数据在组织内的适用性
除了有关知识领域的章节外，DAMA- DMBOK2 还包含以下主题的章节 ：
1)数据处理伦理( Data Handling Ethics)。描述 了关于数据及其应用过程中，数据伦理规范在促进信息透明、社会责任决策中的核心作用。数据采集、分析和使用过程中的伦理意识对所有数据 管理专业人员有指导作用。
2)大数据和数据科学( Big Data and Data Science)。描述了针对大型的、多样化数据集收集和分析能力的提高而出现的技术和业务流程。
3)数据管理成熟度评估( Data Management Maturity Assessment)。概述了评估和改进组织数据管理能力的方法。
4)数据管理组织和角色期望( Data Management Organization and Role Expectations)。为组件数据管理团队，实现成功的数据管理活动提供了实践知道和参考。
5)数据管理和组织变革管理(Data Management and Organizationsl Change Management)。描述了如何假话和成功地推动企业文化变革。文化的变革是将数据管理实践有效地嵌入组织中的必然结果。
这部分主要为之后的学习铺路。整理了这部分的思维导图，方便理解：
未完待续~
我这边也组织了一个CDMP自学交流群，仅限想学习数据治理的同学和有意参加CDMP认证考试的同学加入。
我自己本身自制力太差，所以我选择了报了一个DAMA官方的培训班，培训班会提供完整的视频讲解课程，还有教材讲义，在线答疑，考试报名等服务。如果有兴趣跟班共同学习的同学可以联系我，注明大数据公众号粉丝可以联系我申请优惠。
大数据流动热门文章推荐
从港口煤炭工人，到国企大数据负责人：曾经的网瘾少年是怎么做到的？
5000字详解数据治理如何入门（附国际数据治理认证考试-CDMP学习群）
开源数据质量解决方案——Apache Griffin入门宝典
数据质量管理工具预研——Griffin VS Deequ VS Great expectations VS Qualitis
大数据流动：大数据、实时计算、数据治理，数据可视化实践类自媒体。定期发布数据治理，元数据管理落地技术实践文章，分享数据治理实践落地相关技术与资料。
提供大数据入门，数据治理，Superset，Atlas，Datahub等学习交流群。
大数据流动，对大数据技术学习永不止步。
长按，识别二维码，关注我们吧！
1238
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
