数据管理之元数据管理

01 元数据的定义

元数据是指来自企业内外的所有物理数据和知识，包括物理数据的格式，技术和业务过程，数据的规则和约束以及企业所使用数据的结构。

元数据其实就是知识，包括系统，业务和市场的知识。

02 元数据的作用

元数据处于数据仓库的上层，记录数据仓库中对象的位置，是内部技术人员开发与维护数据仓库的蓝图，是业务中用户导航数据仓库以及定位有用信息的路标。

数据仓库系统获取，共享和管理元数据主要有两个目的：

1. 作为描述性信息，描述系统的结构特征和静态特征；

2. 作为控制性信息，控制并配置特定工具和进程运行，实现数据仓库管理和维护的（半）自动化管理。

元数据机制主要支持以下 5 类系统管理功能：

1. 描述哪些数据在数据仓库中；

2. 定义要进入数据仓库中的数据和从从数据仓库中产生的数据；

3. 记录根据业务事件发生而对其进行的数据抽取工作时间安排；

4. 记录并检测系统数据一致性的要求和执行情况；

5. 衡量数据质量；

元数据起到的作用

1. 用于集成各类复杂繁多的信息，是进行数据集成所必需的 ；

数据仓库最大的特点就是它的集成性。这一特点不仅体现在它所包含的数据上，还体现在实施数据仓库项目的过程当中。一方面，从各个数据源中抽取的数据要按照一定的模式存入数据仓库中，这些数据源与数据仓库中数据的对应关系及转换规则都要存储在元数据知识库中；另一方面，在数据仓库项目实施过程中，直接建立数据仓库往往费时、费力，因此在实践当中，人们可能会按照统一的数据模型，首先建设数据集市，然后在各个数据集市的基础上再建设数据仓库。不过，当数据集市数量增多时很容易形成“蜘蛛网”现象，而元数据管理是解决“蜘蛛网”的关键。如果在建立数据集市的过程中，注意了元数据管理，在集成到数据仓库中时就会比较顺利；相反，如果在建设数据集市的过程中忽视了元数据管理，那么最后的集成过程就会很困难，甚至不可能实现。

2. 元数据定义的语义层可以帮助最终用户理解数据仓库中的数据 ；

最终用户不可能象数据仓库系统管理员或开发人员那样熟悉数据库技术，因此迫切需要有一个“翻译”，能够使他们清晰地理解数据仓库中数据的含意。元数据可以实现业务模型与数据模型之间的映射，因而可以把数据以用户需要的方式“翻译”出来，从而帮助最终用户理解和使用数据。

3. 可以支持需求动态变化，系统各项表现（界面）的灵活性；

4. 可以提高和保证数据的质量；

数据仓库或数据集市建立好以后，使用者在使用的时候，常常会产生对数据的怀疑。这些怀疑往往是由于底层的数据对于用户来说是不“透明”的，使用者很自然地对结果产生怀疑。而借助元数据管理系统，最终的使用者对各个数据的来龙去脉以及数据抽取和转换的规则都会很方便地得到，这样他们自然会对数据具有信心；当然也可便捷地发现数据所存在的质量问题。甚至国外有学者还在元数据模型的基础上引入质量维，从更高的角度上来解决这一问题。 

5. 可以支持多种工具的开发应用；

6. 提高系统的安全性；

7. 可以提高系统的智能性；

8. 元数据可以支持需求变化 

随着信息技术的发展和企业职能的变化，企业的需求也在不断地改变。如何构造一个随着需求改变而平滑变化的软件系统，是软件工程领域中的一个重要问题。传统的信息系统往往是通过文档来适应需求变化，但是仅仅依靠文档还是远远不够的。成功的元数据管理系统可以把整个业务的工作流、数据流和信息流有效地管理起来，使得系统不依赖特定的开发人员，从而提高系统的可扩展性。

03 元数据分类