转载：DAMA数据管理知识体系

1 文章目的

对dama数据管理知识体系进行描述。

2 数据管理

数据管理（Data Management）是为了交付、控制、保护并提升数据和信息资产的价值，而在其整个生命周期中进行的各项活动，如制订计划/制度/规程和实践，并执行和监督的过程。

简单来说，数据管理就是更好的实现数据价值的过程。通俗的理解就是让企业的数据从不可控、不可用、不好用到可控、方便易用且能够反哺业务的过程。

2.1 数据定位

可以使用战略一致性模型和阿姆斯特丹模型来描述数据与业务、与it系统之间的关系：

2.2 数据管理知识领域

DAMA-DMBOK框架使用DMA车轮图、环境因素六边形图、知识领域语境关系图介绍了构成数据管理总体范围的知识领域，具体如下：

• DAMA车轮图
   

DAMA车轮图定义了数据管理知识领域。它将数据治理放在数据管理活动的中心，因为治理是实现功能内部一致性和功能之间平衡所必需的。其他知识领域（数据体系结构、数据建模等）围绕车轮平衡。它们都是成熟数据管理功能的必要组成部分，但根据各组织的需求，它们可能在不同的时间实现。

一句话对数据管理的内容进行描述如下：

2.3 语境关系图

• 环境因素六边形图

环境因素六边形图显示了人、过程和技术之间的关系，是理解DMBOK语境关系图的关键。它将目标和原则放在中心，因为这些目标和原则为人们如何执行活动及有效地使用工具成功进行数据管理提供了指导。

• 知识领域语境关系图

知识领域语境关系图（图1-7）描述了知识领域的细节，包括与人员、流程和技术相关的细节。它们基于产品管理（供给者、输入、活动、交付成果和消费者）的SIPOC图的概念。语境关系图将活动放在中心，这些活动生产了满足利益相关方需求的可交付成果。

每个语境关系图都以知识领域的定义和目标开始。目标驱动的活动分为4个阶段：计划（P）、控制（C）、开发（D）和运营（O）。从左侧流入活动中是输入和供给者，右侧从活动中流出是交付成果和消费者，参与者列在活动下方，底层是影响知识领域各个方面的技术、工具和度量指标。

2.4 DMBOK金字塔（Aiken）

彼得·艾肯（Peter Aiken）的框架中使用DMBOK知识领域来描述许多组织演化的情况。使用此框架，组织可定义一种演化路径，达到拥有可靠的数据和流程的状态，支持战略业务目标的实现。为了实现这一目标，许多组织都经历了类似的逻辑步骤。

第1阶段：组织购买包含数据库功能的应用程序。这意味着组织以此作为数据建模、设计、数据存储和数据安全的起点（例如，让一些人进来，让其他人出去）。要使系统在其数据环境中运行，还需要做数据集成和交互操作方面的工作。

第2阶段：一旦组织开始使用应用程序，他们将面临数据质量方面的挑战，但获得更高质量的数据取决于可靠的元数据和一致的数据架构，它们说明了来自不同系统的数据是如何协同工作的。

第3阶段：管理数据质量、元数据和架构需要严格地实践数据治理，为数据管理活动提供体系性支持。数据治理还支持战略计划的实施，如文件和内容管理、参考数据管理、主数据管理、数据仓库和商务智能，这些黄金金字塔中的高级应用都会得到充分的支持。

第4阶段：该组织充分利用了良好管理数据的好处，并提高了其分析能力。

Aiken的金字塔是基于DAMA车轮图构建出来的，展示了各知识领域之间的关系。各领域之间并非都可以互换，它们有多种相互依赖的关联关系。金字塔框架有两个驱动因素：第一，建立一个基础，每个组件都出现在合适的位置上、彼此之间相互支持；第二，当然也有一些相反的观点认为，这些组件可以任意顺序出现。

2.5 其他知识领域依赖路径

Aiken的金字塔中描述了一个组织如何向更好的数据管理实践发展的路径。学习DAMA知识领域的另一种方法是探索它们之间的依赖关系。图1-9中的框架由苏伊格恩斯（Sue Geuens）开发，他认识到商务智能和分析功能依赖于所有其他数据管理功能。它们直接依赖于主数据和数据仓库解决方案。但反过来，它们又依赖输入信息的系统和应用。可靠的数据质量、数据设计和数据交互操作实践是可靠系统和应用的基础。此外，该模型中的数据治理包括元数据管理、数据安全、数据架构和参考数据管理，这些提供了所有其他功能依赖的基础。

图1-10中描述了DAMA车轮图的第三种替代方案。该图借鉴了体系结构概念，呈现了DAMA知识领域之间的一组关系。为了澄清这些关系，提供了一些知识领域内容的附加细节。

该框架从数据管理的指导目标开始：使组织能够像从其他资产中获取价值那样，从其数据资产中获取价值。派生价值需要生命周期管理，因此与数据生命周期相关的数据管理功能在图的中心进行了描述。这包括：为可靠、高质量的数据进行规划和设计；建立过程和功能来使用和维护数据；在各种类型的分析活动以及这些过程中使用数据，以提高其价值。

图1-10 DAMA数据管理功能框架

DAMA数据管理框架也被描述为另一种形式的DAMA车轮图，数据治理范围内的应用活动围绕着数据管理生命周期内的各项核心活动进行（图1-11）。

核心活动位于框架中心，包括元数据管理、数据质量管理和数据结构定义（架构）。

生命周期管理活动可以从多个方面定义，如计划的角度（风险管理、建模、数据设计、参考数据管理），实现的角度（数据仓库、主数据管理、数据存储和操作、数据集成和互操作、数据开发技术）。

生命周期管理活动源于数据的使用：主数据使用、文件和内容管理、商务智能、数据科学、预测分析、数据可视化。许多情况下都会基于现有数据进行增强性的开发，获取更多洞察，产生更多的数据和信息。

数据货币化的机会可以确定源于数据的使用。数据治理活动通过战略、原则、制度和管理提供监督和遏制。它们通过数据分类和数据估值实现一致性。

DAMA数据管理框架采用多种方式描述的原因是期望提供额外的视角，并就如何应用DMBOK中呈现的概念展开讨论。随着数据管理重要性的提高，这些框架成为数据管理社区内以及数据管理社区和利益相关方之间沟通的有力工具。

3 数据伦理

4 数据治理

数据治理职能是指导所有其他数据管理领域的活动。数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱动力是确保组织可以从其数据中获得价值，数据治理聚焦于如何制定有关数据的决策，以及人员和流程在数据方面的行为方式。

数据治理和管理职责语境关系图：

5 数据架构

数据架构师数据管理的基础，它的目标是在业务战略与技术实现之间搭建起一座通畅的桥梁，是企业构架的重要组成部分。它定义了与组织战略协调的数据资产蓝图，以及建立满足组织战略的所需的数据总体设计。

6 数据建模与设计

数据建模是发现、分析和确定数据需求的过程，使用数据模型精确的表示和传递这些数据需求。数据建模是数据管理的一个重要组成部分。

建模过程中要求组织发现并记录数据组合的方式。数据模型有助于组织理解其数据资产。

数据可以采用多种不同的模式来表示。其中最为常见的6种模式分别是：关系模式、多维模式、面向对象模式、事实模式、时间序列模式和NoSQL模式。按照描述详细程度的不同，每种模式又可以分为3层模型：概念模型、逻辑模型和物理模型。每种模型都包含一系列组件，如实体、关系、事实、键和属性。一旦建立了模型，就需要对其进行质量进行审查；一旦得到批准，后续还需要对其进行维护。

数据模型包含数据使用者所必需的元数据。在数据建模过程中发现的大部分元数据对于其他数据管理功能是必不可少的。如数据治理的定义、数据仓库与数据血缘分析等。

7 数据存储和操作

数据存储与操作包括对存储数据的设计、实施和支持，最大化实现数据资源的价值，贯穿于数据创建/获取到处置的整个生命周期。

8 数据安全

数据安全包括安全策略和过程的规划、建立与执行，为数据和信息资产提供正确的身份验证、授权、访问和审计。虽然数据安全的详细情

况（如哪些数据需要保护）因行业和国家有所不同，但是数据安全实践的目标是相同的，即根据隐私和保密法规、合同协议和业务要求来保护信息资产。

9 数据集成和互操作

数据集成和互操作（DII）描述了数据在不同数据存储、应用程序和组织这三者内部和之间进行移动和整合的相关过程。

10 文件和内容管理

文件和内容管理是指针对存储在关系型数据库之外的数据和信息的采集、存储、访问和使用过程的管理。它的重点在于保持文件和其他

非结构化或半结构化信息的完整性，并使这些信息能够被访问。在这方面，它与关系型数据库的数据操作管理大致相同。此外，同样存在一些战略驱动因素。

在许多组织中，非结构化数据和结构化数据有着直接的关系，有关内容的管理决策应同样适用于非结构化数据的管理要求。如同其他类型的数据一样，文件和非结构化内容也应是安全且高质量的。确保文件和内容管理的安全性和高质量，需要可靠的架构和管理良好的元数据。4 主数据管理

主数据（Master Data）就是关于业务实体的数据。主数据是关键业务实体的最权威、最准确、价值最大的数据，用于建立交易闭环。例如对于银行来说，用户账号、贷款账号信息、理财产品等就是主数据；对于电商网站，用户、商品就是主数据等。主数据管理包括主数据发布、主数据申请、主数据分发等方面。

11 参考数据和主数据

主数据是数据之源，提供了交易活动和分析的上下文语境，是企业活动开展的基础。如客户、员工、账户等。参考数据是用于描述或者分类的数据，如货币代码、民族类型、职业类型、订单类型等。

在任何组织中，都存在一些需要跨业务领域、跨流程和跨系统使用的数据。如果这些数据实现了共享，所有的业务部门就都可以访问相同的客户清单、地理位置代码、业务部门清单、交付选项、部件清单、成本核算中心代码、政府税收代码以及用于运营业务的其他数据，那么整个组织及其客户都会从中受益。数据使用者在看到不一致的数据之前，通常都会假设这些数据在整个组织中具有一定的一致性。

在大多数组织中，系统和数据的变化速度比数据管理专业人员所希望的要快。特别是在大型组织中，各种项目和方案、合并和收购以及其他商业活动导致存在多套在本质上作用相同的系统，它们相互隔离，无法沟通。以上这些情况不可避免地导致了系统间数据结构和数据值的不一致，从而增加了成本和风险。组织可以通过对参考数据和主数据的管理来降低成本和风险。

12 数据仓库和商务智能

数据仓库（Data Warehouse，DW）的概念始于20世纪80年代。该技术赋能组织将不同来源的数据整合到公共的数据模型中去，整合后的数据能为业务运营提供洞察，为企业决策支持和创造组织价值开辟新的可能性。

真正实施数据仓库的建设，要到20世纪90年代。从那时开始，数据仓库建设逐渐成为主流，特别是与商务智能（Business Inteligence，BI）作为业务决策主要驱动力协同发展。大多数企业都建有数据仓库，数据仓库被公认为企业数管理的核心。

13 元数据管理

元数据（Meta-data）是描述数据的数据。例如一个文本数据的大小，位置，创建人，创建日期等，这些数据就是该文本文件的元数据。

元数据可以帮助组织理解其自身的数据、系统和流程，同时帮助用户评估数据质量，对数据库与其他应用程序的管理来说是不可或缺的。它有助于处理、维护、集成、保护和治理其他数据。

与其他数据一样，元数据需要管理。随着组织收集和存储数据能力的提升，元数据在数据管理中的作用变得越来越重要。要实现数据驱动，组织必须先实现元数据驱动。

元数据包含业务元数据、技术元数据、操作元数据、管理元数据等方面。具体描述如下：

• 业务元数据
  与业务规则、流程相关的描述性数据。例如：人员信息数据中的统计时间、统计周期、统计区域范围等。
• 技术元数据
  与存储、访问等技术底层相关描述性数据。例如：人员信息数据存储在的位置、访问的URL地址，数据存储库，对应的表名，字段有哪些等。
• 操作元数据
  与数据操作相关的描述性数据。例如：用户的点击行为发生的时间、点击的页面、使用的设备；人员信息数据上传人，上传时间，修改时间等。
• 管理元数据
  与数据管理相关的描述性数据。例如：人员信息数据访问权限，安全等级，质量等级，过期时间等。

14 数据质量管理

提升数据质量是大数据初期数据治理最重要的目的，目前仍然是大数据治理最重要的目的之一。

有质量的数据才是有价值的。数据质量就是确保组织拥有的数据完整且准确。数据质量管理包括质量规则定义、质量检查、质量报告等。

数据质量语境关系图如下：

15 大数据和数据科学

16 数据管理成熟度评估

能力成熟度评估（Capability Maturity Assessment，CMA）是一种基于能力成熟度模型（Capability Maturity Model，CMM）框架的能力提升方案，描述了数据管理能力初始状态发展到最优化的过程。CMA概念源于美国国防部为评估软件承包商而建立的标准。20世纪80年代中期，卡内基梅隆大学软件工程研究所发布了软件能力成熟度模型。虽然CMM首先应用于软件开发，但现在已被广泛用于其他一系列领域，包括数据管理。

成熟度模型通过描述各阶段能力特点来定义成熟度的级别。当一个组织满足某阶段能力特征时，就可以评估其成熟度等级，并制订一个提高能力的计划。它还可以帮助组织在等级评估的指导下进行改进，与竞争对手或合作伙伴进行比较。在每一个新等级，能力评估会变得更加一致、可预测和可靠。当能力呈现出与等级不符的特征时，等级会得到提升，但能力水平有既定顺序，不能跳过任何等级。这些级别通常包括

1. 0级。无能力级。
2. 1级。初始级或临时级：成功取决于个人的能力。
3. 2级。可重复级：制定了最初级的流程规则。
4. 3级。已定义级：已建立标准并使用。
5. 4级。已管理级：能力可以被量化和控制。
6. 5级。优化级：能力提升的目标是可量化的。

在每个级别中，判定标准是通过展现的能力特征来描述的。例如，成熟度模型可能包括与流程如何落地执行有关的标准，包括这些执行过程的自动化程度等。它可能侧重于策略、控制及过程细节。

这样的评估有助于搞清楚哪些方面的工作做得很好，哪些方面的工作做得不好，以及组织在哪些方面存在差距。基于评估结果，组织可以制定路线图以实现以下目标：

1. 与过程、方法、资源和自动化相关的高价值改进机会。
2. 符合业务战略的能力。
3. 为定期基于模型评估组织能力开展治理项目。

在开始介绍DMMA之前，组织必须建立对其当前状态能力、资产、目标和优先级的初步认识。首先，组织需要一定程度的成熟度来进行评估，并通过设定目标、制定路线图和监控进度来有效地响应评估结果。

数据管理成熟度评估语境关系图

17 数据管理组织与角色期望

18 数据管理和组织变革管理

19 参考资料

• 《DAMA数据管理知识体系指南》
  本书全篇都是理论，但是这绝对是数据治理与数据管理领域的宝藏书，书中对整个数据管理体系，特别是数据治理与数据管理的关系进行了详细的说明。
• 《华为数据之道》
  本书详细的讲解了华为是数据治理中的经验与架构设计。当然与DAMA有很多的相近之处，但是有自己独到的一些经验，对于进行数据治理的实践很有意义。
• 《数据中台：让数据用起来》
  本书的第八章结合数据中台的实践过程，对于数据治理工作的开展进行了讲解。也是为数不多的数据治理实践书籍。同时也可以对数据中台有一定的了解。
• 《云原生数据中台：架构、方法论与实践》
  本书的第11章对于数据资产的管理，说明了主数据管理与元数据的相关概念。特别注意的是在第14章，本书讲解了数据门户的概念，并举例说明了硅谷各大公司在数据门户的建设。数据门户包含了数据发现，元数据管理等一系列功能是实现，这也是难得数据治理落地方面的介绍。
• 《数据治理：工业企业数字化转型之道》
  这是一本全面关注工业企业数据治理方面的工具书，主要内容分为概述篇、体系篇、工具篇、实施篇及案例篇。里面的案例很有参考价值。
• 大数据流动：大数据治理推荐书单
• 什么是数据治理？