数据治理框架-DAMA

笔者在这里引用DAMA的数据管理框架来进行说明，DAMA的数据管理框架是一个全面的数据管理知识体系，包括11个数据管理职能领域和7个环境要素。数据管理职能领域包括：

1. 数据治理：通过建立一个能够满足企业需求的数据决策体系，为数据管理提供指导和监督。
2. 数据架构：定义了与组织战略协调的管理数据资产的“蓝图”，指导基于组织的战略目标，制定符合战略需求的数据架构。
3. 数据建模和设计：以数据模型的精确形式，进行发现、分析、展示和沟通数据需求的过程。
4. 数据存储和操作：以数据价值最大化为目标，在整个数据生命周期中，从计划到销毁的各种操作活动。
5. 数据安全：保护数据不受未经授权的访问、修改或破坏，同时确保数据的可用性和完整性。
6. 数据集成和互操作：将来自不同来源的数据集成到一个系统中，并确保不同系统之间的互操作性。
7. 文档和内容管理：创建、管理和维护与业务相关的文档和内容，以确保信息的准确性和一致性。
8. 参考数据和主数据管理：管理和维护参考数据和主数据，以确保其准确性和一致性，并支持业务流程。
9. 数据仓库与商务智能：设计和维护数据仓库和商务智能系统，以支持决策制定和分析。
10. 元数据管理：收集、管理和维护元数据，以支持数据的管理和理解。
11. 数据质量管理：确保数据的准确性、完整性、一致性和及时性，以满足业务需求和法规要求。

数据治理

**DAMA（国际数据管理协会）对数据治理的定义是：数据治理是对数据资产的管理活动行使权力和控制的活动集合（规划、监控和执行）。简单来说，数据治理就是实现数据价值的过程。**通俗的理解就是让企业的数据从不可控、不可用、不好用到可控、方便易用且对业务有极大帮助的过程。

​ 数据治理职能是指导所有其他数据管理领域的活动。数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱动力是确保组织可以从其数据中获得价值，数据治理聚焦于如何制定有关数据的决策，以及人员和流程在数据方面的行为方式。

1.数据架构

​ 数据架构是数据管理的基础。由于大多数组织拥有的数据超出了个人可以理解的范围，因此有必要在不同抽象层级上描述组织的数据，以便更好地了解数据，帮助管理层做出决策以上三方面的内容是数据架构的基本组成部分。
​ 数据架构的构件包括当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据资产管理规范。组织的数据架构是指不同抽象层级主要设计文档的集合，其中主要包括数据的收集、存储、规划、使用和删除等标准。这是按照数据的生命周期来对数据架构中包括的内容进行定义和范围界定，同时也可以按照数据在组织系统中所存储的容器和路径来进行定义和确定范围。
最为详细的数据架构设计文件是正式的企业数据模型，包含数据名称、数据属性和元数据定义、概念和逻辑实体、关系以及业务规则。物理数据模型也属于数据架构文件，但物理数据模型是数据建模和设计的产物，而不是数据架构的产物。

2.数据建模和设计

数据建模是发现、分析和确定数据需求的过程，用一种称为数据模型的精确形式表示和传递这些数据需求。数据建模是数据管理的一个重 要组成部分。**建模过程中要求组织发现并记录数据组合的方式。数据模型有助 于组织能够理解其数据资产。数据可以采用多种不同的模式来表示。其 中最为常见的6种模式分别是：关系模式、多维模式、面向对象模式、 事实模式、时间序列模式和NoSQL模式。按照描述详细程度的不同，每种模式又可以分为3层模型：概念模型、逻辑模型和物理模型。每种模型都包含一系列组件，如实体、关系、事实、键和属性。一旦建立了模型，就需要对其进行质量审查；一旦得到批准，后续还需要对其进行维护。

3.数据存储和操作

​ 数据存储与操作包括对存储数据的设计、实施和支持，最大化实现数据资源的价值，贯穿于数据创建/获取到处置的整个生命周期。主要目标是贯穿整个数据生命周期，管理数据的可用性，确保数据资产的完整性，管理数据交易的性能。数据存储治理的一部分是确保数据库遵守所有许可协议和监管要求，审计数据可以帮助确定每种技术和产品的总扔有成本。

4.数据安全

​数据安全包括安全策略和过程的规划、建立和执行，为数据和信息资产提供正确的身份验证、授权、访问和审计。**数据安全需求来自：（1）利益相关方；（2）政府法规。政府法规制定的出发点是保护利益相关方的利益。。政府法规目标各有不同，有些规定是限制信息访问的，而另一些则是确保公开、透明和问责的；（3）特定业务关注点(专有数据的保护)。每个组织的专有数据都需要保护，这些数据运用得当，组织就可以获得竞争优势；（4）合法访问需求；（5）合同义务。

5.数据集成和互操作

​数据集成和互操作（DII）描述了数据在不同数据存储、应用程序和组织这三者内部和之间进行移动和整合的相关过程。**数据集成是将数据整合成物理的或虚拟的一致格式。数据互操作是多个系统之间进行通信的能力。

​ 数据集成和互操作提供组织所依赖的基本数据管理职能：1）数据迁移和转换。2）数据整合到数据中心或数据集市。3）将供应商的软件包集成到组织的应用系统框架中。4）在不同应用程序或组织之间数据共享。5）跨数据存储库和数据中心分发数据。6）数据归档。7）数据接口管理。8）获取和接收外部数据。9）结构化和非结构化数据集成。10）提供运营智能化和管理决策支持。

6.文档和内容管理

​ **文件和内容管理是针对存储在关系型数据库之外的数据和信息的采集、存储、访问和使用过程的管理。**重点在于保持完整性，确保可访问。确保安全和高质量，需要可靠的架构和管理良好的元数据。业务驱动因素：法规遵从性要求、诉讼响应能力、电子取证请求能力、业务连续性要求，帮助提高组织效率。

​ 目标如下：1）确保能够高速有效地采集和使用非结构化的数据和信息。2）确保结构化和非结构化数据之间的整合能力。3）遵守法律义务并达到客户预期。

7.参考数据和主数据管理

​ **主数据定义是组织中有关业务实体的数据，这些数据描述了组织的业务交易和数据分析的上下文信息。这些业务实体主要包括雇员、客户、产品、服务、金融结构、资产和位置等。**主数据需要为概念实体的每个实例识别和开发可信的实例版本，并维护该版本的时效性。主数据管理则是对主数据值进行控制，以时序跨系统的一致、共享、上下文相关地使用主数据，以及对核心业务实体的真实情况的最准确、集市和相关的版本进行控制。
​ **参考数据的定义是指可用于描述或分类其他数据，或者将数据与组织外部的信息联系起来的任何数据。参考数据通常用于为主数据提供上下文，以便用户理解数据的含义。**参考数据管理是对定义的数据域值（也称为词汇、术语）进行控制，包括对标准化术语、代码值和其他唯一标识符一级每个取值的业务定义的控制，和对数据域值列表内部和跨不同列表之间的业务关系的控制。参考数据可用于描述其他数据，例如通过使用代码值来解释数据的含义。例如性别的阈值，男、女 就是参考数据。

​ 确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据和主数据。2）促使企业在各业务单元和各应用系统之间共享参考数据和主数据。3）通过采用标准的、通用的数据模型和整合模式，降低数据使用和数据整合的成本及复杂性。

8.数据仓库与商务智能

​ 数据仓库（Data Warehouse，DW）：始于 20 世纪 80 年代，发展于 20 世纪 90 年代，后与商务智能（Business Inteligence,BI）作为业务决策主要驱动力协同发展。赋能组织将不同来源的数据整合到公共的数据模型，整合后的数据能为业务运营提供洞察，为企业决策支持和创造组织价值开辟新的可能性。减少数据冗余，提高信息一致性，让企业能够利用数据做出更优决策的方法。数据仓库是企业数据管理的核心。

9.元数据管理

​ **元数据可以帮助组织理解其自身的数据、系统和流程，帮助用户评估数据质量，对数据库与其他应用程序的管理不可或缺。**元数据确保组织能识别私有或敏感的数据，能管理数据的生命周期，满足合规需要，减少风险敞口。没有元数据，组织就不能将数据作为资产进行管理。技术元数据成为数据迁移和集成方法中不可或缺的一部分。

10.数据质量管理

​ **数据管理的原则都应有助于提高数据质量，支持组织使用高质量数据应是所有数据管理原则的目标。**数据交互过程中任何人的糟糕决策或行动，都可能导致数据质量变差，因此产生高质量数据需要跨职能的承诺和协调。组织和团队要意识到这一点，通过执行过程和项目管理，提前为高质量的数据做好准备，以应对与数据相关的意外或不可接受的风险。

​ 正式的数据质量管理类似于其他产品领域的持续质量管理，包括在整个生命周期制定标准，在数据创建、转换和存储过程中完善质量，以及根据标准度量数据来管理数据。将数据管理到这样的水平通常需要有数据质量团队（Data Quality Program Team）。数据质量团队负责与业务和技术数据管理专业人员协作，并推动将质量管理技能应用于数据工作，以确保数据适用于各种需求。该团队可能会参与一系列项目，通过这些项目建立流程和最佳实践，同时解决高优先级的数据问题。