企业级数据管理——DAMA数据管理

1. 基本概念

1.1 数据

数据的概念在这里不在赘述。在数据开发者眼中，数据代表事实。数据是与某个业务事实结合在一起的一种真实的表达。数据既是对其所代表对象的解释，也是必须解释的对象。这句话不难理解，数据是对事实的描述，同样，数据也需要被描述，被组织，被规范化，即数据是需要管理的。未经管理数据是一片沼泽，数据是不可信的，甚至是不可用或不可达的。
因此，需要对数据「架构」、「建模」、「治理」、「管理制度」、「元数据」和「数据质量」进行管理，此举非常有助于理解和使用数据。尤其当数据横跨多业务，多组织时，会出现多样性的问题，因此，需要对数据进行企业级的管理。提供数据标准，以保障数据一致性。

1.2 数据和信息

数据是信息的原材料，信息是由数据加工而来的。 金字塔模型分层描述了位于底层的数据、信息、知识与位于顶层的智慧之间的关系。

1.3 数据管理原则

数据亦是一种资产，没有一家企业不会管理自己的资产，管理就需要有制度原则，数据管理同样需要遵循管理原则。

• 数据价值需要量化
  既然数据是资产，那么就必须认识其价值，需要有一套标准来衡量其价值。想要对数据做出更好的管理和决策，就必须有一套价值量化的方法，这样才能根据价值考量成本。
• 管理数据需要原数据
  描述数据的数据称为元数据（例如表的数量、存储信息等）。元数据源于数据创建、存储、处理和使用相关的一系列流程，包括架构、建模、管理、治理、数据质量管理、系统开发、业务运营等。
• 数据管理需要规划
  数据的来源是多样性的，且在使用时需要对数据进行 ETL （抽取，转化，加载）等处理，数据会在多个存储介质，存储位置之间移动转化，因此需要一些手段来保证数据的一致性（至少保证最终一致性）。需要从架构和流程的角度进行规划。没有规划，没有蓝图的数据是无法管理的。
• 数据管理是跨职能的工作
  数据是在多个业务部门之间相互流动的，因此单一组织很难对其进行有效的管理。对管理者的技术能力以及跨组织协作能力有很高的要求。
• 数据管理需要企业级视角
  数据管理通常是自上而下规划、发起的。甚至需要敢于得罪人，敢于做「孤臣」，数据管理必须在一开始就强有力的贯彻下去，管理程度越高的数据越可用，越易用，越可用的数据越容易进行管理，这样才能进入数据管理的良性循环。
• 数据管理需要贯穿数据的生命周期
  数据是有生命周期的，因此数据管理也需要对数据的生命周期进行管理，数据管理在实践时需要考虑数据的整个生命周期，做到贯穿始终。同时，持有数据这种资产是需要维护费用的，低价值的数据可以尽量缩短其生命周期，降低数据成本。
• 数据管理需要注重风险
  数据可能会都丢失，被盗取或被误用，在进行数据管理时必须考虑到数据的法律责任，社会责任以及使用数据时的伦理影响，数据风险也必须纳入到数据管理中去。

1.4 数据价值

对于数据这种非物质的资产，很难准确的衡量其绝对价值，但是可以在组织内部统一价值衡量标准，通过长期的指标波动，同环比变化来衡量数据价值，价值标准主要考量以下几个方面。

• 获取和存储数据的成本。
• 数据丢失时，更换或回溯数据的成本。
• 数据丢失且不可重获时对组织的影响。
• 数据规避风险措施的成本。
• 各方面提升数据的成本。
• 高质量数据的优势。
• 竞争对手为数据付出的成本。
• 数据的潜在价值。
  数据的价值是与上下文环境相关的，而且数据的价值通常是实时波动的。

1.5 数据质量

确保高质量的数据是数据管理的核心。数据的管理程度直接影响其使用程度，如果数据因为管理不足而导致无法使用，那么数据的收集、存储、保护和访问数据就是一种极大的资源浪费。
很大程度上数据和开发者是强相关的，然而通常开发者对他们创造出来的数据用完即弃，再用再建，从不维护。这种行为如果不加以规范，随着时间的推移，数据质量将无所保障。数据将会成为一堆「屎山」。如果要将这堆「屎山」重新清理干净的成本是极其大的，通常企业在走入这种数据质量死胡同后都只能选择重构。
对于数据开发者来说，建立用户对数据的信任是非常难的，一旦用户对数据丧失了信任，想要再建立起来将付出数倍的代价。

1.6 元数据管理

元数据是数据使用与管理的有效抓手。组织需要可靠的元数据去管理数据资产，从这个意义上讲应该全面的理解元数据。其不仅包括业务、技术和操作，还包括嵌入在数据架构、数据模型、数据安全需求、数据集成标准和数据操作流程的元数据。
元数据描述了一个组织拥有什么数据，它代表什么、如何被分类、源于何处、如何移动、如何演进、谁可以使用以及是否可视为高质量数据。
挑战在于，元数据是以数据形式构成的，因此也需要严格管理。很多传统行业，标榜自己的数据规模如何巨大，计算资源如何丰富，然而却根本没有对元数据进行有些管理，这是当下传统行业科技化转型的通病。

1.7 数据生命周期

为了对数据进行有效的管理，需要理解数据并对数据的生命周期进行规划。
数据的生命周期 基于产品的生命周期，从概念上讲，数据的生命周期很容易描述（如下图）。包括创建或获取、移动、转换和存储，使用过程以及处理过程。在数据的整个生命周期中，可以清理、转换、合并、增强或聚合数据。随着数据的使用或增强，通常会生成新的数据，因此其生命周期具有内部迭代，数据很少是静态的，管理数据涉及一系列内部互动过程，与生命周期保持一致。

创建和使用是数据生命周期中的关键点。对数据进行管理必须在理解如何生成或获取数据以及如何使用数据的情况下执行。同时，数据质量管理，元数据管理必须随着与数据的创建开始，直到数据生命周期的结束而结束。

2. 数据管理框架

数据管理涉及一系列相互依赖的功能，每个功能都有各自的目标、活动和职责。数据管理者需要一个全面的框架来理解数据管理，并查看功能组件之间的关系。因为这些组件功能相互依赖，需要协调一致，所以在数据管理中，各方面的管理人员需要根据数据管理框架来进行职能认领，厘清权责，紧密合作。
DAMA 框架针对不同抽象级别提供了一系列关于如何管理数据的路径。这些视角提供了可用于阐明战略、制定路线图、组织团队和协调职能的洞察力。

2.1 战略一致性模型

战略一致性模型抽象了各种数据管理方法的基本驱动因素，模型的中心是数据和信息之间的关系。信息通畅与业务战略和数据的操作使用相关。数据与信息技术的流程相关。围绕这一概念的是战略选择的4个基本领域：业务战略、IT 战略、组织和流程以及信息系统。如下图所示：

战略一致性模型比上图所示的更为复杂，每个六边形都有其下层结构。例如，在业务和 IT 战略中，都需要将范围、能力和治理纳入考虑。运营必须考虑基础设施、流程和技能。理解各部分关系才能帮助理解数据和数据管理是如何影响组织决策的。

2.2 阿姆斯特丹信息模型

阿姆斯特丹模型（The Amsterdam Information Model）与战略一致性模型一样，从战略角度看待业务和IT的一致性（Abcoower、Maes和Truijens，1997），共有9个单元。它抽象出一个关注结构（包括规划和架构）和策略的中间层。此外，还要认识到信息通信的必要性（在右图中表示为信息治理和数据质量支柱）。

SAM（战略一致性模型）和AIM（阿姆斯特丹信息模型）框架从横轴（业务/IT战略）和纵轴（业务战略/业务运营）两个角度详细描述组件之间的关系。

2.3 DAMA-DMBOK 模型

DAMA-DMBOK 框架更加深入地介绍了构成数据管理总体范围的知识领域。

• DAMA 车轮图
  
  DAMA 车轮图定义了数据管理知识领域。其将数据治理放在了数据管理的活动中心，因为治理是实现数据内部一致性和功能之间平衡必需的。其知识领域围绕车轮平衡。他们都是成熟数据管理的必要组成部分。
• 环境因素六边形
  环境因素六边形显示了人、过程和技术之间的关系，其将「目标和原则」放在中心，因为「目标和原则」为我们如何执行活动及有效地使用工具成功进行数据管理提供了指导。

2.4 DMBOK 金字塔（Aiken）

类比1.2章节中的数据金字塔模型，DMBOK 金字塔模型是更为具体，是基于 DAMA 车轮图构建而来。展示了各领域之间上下层的依赖关系。

DMBOK 金字塔描述了如何建立一个数据管理的基础，以及如何将每个组件都安置在合适的位置上，彼此之间有依赖关系又能相互支持，形成犄角之势。

2.5 DAMA 数据管理框架的进化

2.4章节中的金字塔模型描述了一个组织如何不断完善其数据管理的实践路径。同时，我们也要关注数据管理各个功能模块之间的相互依赖关系，如下图所示：「DAMA 功能领域依赖关系图」

商务智能和分析功能依赖于其他数据管理功能。可靠的数据质量、数据设计和数据交互操作是可靠系统和应用的基础。此外，该模型中的数据治理包括元数据管理、数据安全、数据架构和参考数据管理，这些提供了所有其他功能依赖的基础。
下图是 DAMA 车轮图的另一种替代方案。该图借鉴了体系结构概念，呈现了 DAMA 知识领域之间的一组关系。如下图所示：「DAMA 数据管理功能框架」

该框架从数据管理的指导目标开始，使组织能够从数据资产中获取价值。派生价值需要生命周期管理，因此与数据生命周期相关的数据管理功能在图的中心进行了描述。包括：为可靠、高质量的数据进行规划和设计；建立过程和功能来使用和维护数据；在各种类型的分析活动以及这些过程中使用数据，以提高其价值。

3. 总结

DAMA 数据管理框架采用多种方式描述，提供多角度的阐述，展开讨论了如何应用其理念来进行数据管理活动。随着数据的爆炸式增长，数据管理的重要性不言自愈，这些框架为数据管理人员提供了一系列有效的指导和沟通标准。