数据仓库建设之《元数据管理》

元数据解决方案

　　随着业务系统每年收集和使用的数据飞速增长，数据体量日趋增长，数据形态多样化且不统一，多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心，是有效管理这些数据的基础和前提，在信息化建设中发挥着重要的作用。如何理解、管理并发挥出元数据的价值，成为迫切的任务。

一、什么是元数据

　　元数据（Metadata）是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。

1. 1.     技术元数据

　　　　技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：

1)     数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义，以及数据集市的位置和内容。

2)     业务系统、数据仓库和数据集市的体系结构和模式。

3)     汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、预定义的查询与报告。

4)     由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。

1. 2.     业务元数据

　　业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：

1)     使用者的业务术语所表达的数据模型、对象名和属性名。

2)     访问数据的原则和数据的来源。

3)     系统所提供的分析方法以及公式和报表的信息。

4)     企业概念模型、多维数据模型，业务概念模型与物理数据的依赖，

二、元数据的作用

　　元数据可以实现业务模型与数据模型的映射，帮助用户理解数据仓库中的数据；元数据清晰的描述了数据的来龙去脉，描述了数据抽取转换规则，是保证数据质量的关键；元数据管理系统可以把整个业务的工作流、数据流和信息流有效的管理，可以支持需求变化，从而提高系统的可扩展性；打通数据孤岛，统一数据定义，形成企业级知识传承平台，元数据管理使得数据变的更有价值。

三、元数据管理

　　在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。

1. 元数据采集

　　技术元数据的采集，根据现有元数据设计出元模型，然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的，ETL等产生的元数据，对于元数据管理工具支持的格式可直接进行导入，对于一些自定义的规则，需要进行格式转换并导入。

业务元数据相对复杂，来源较广泛且不统一，需要对业务系统进行深入理解，按业务主题进行整理，梳理出业务范围、业务名称 、业务定义、业务描述、业务关系等，并添加到元数据管理系统中。主要从以下几方面来进行梳理：

1)     业务平台中的各业务流程。

2)     交易、结算系统，提取出各种财务公式、过程逻辑、业务规则等。

3)     报表系统，比如表头，包含合计、平均数等聚合函数的列，一些计算公式等。

4)     表格，在Excel中进行业务计算的公式，列的描述、代码描述等。

5)     文件数据中的标题、作者、时间、内容主题等。

　　2、存储管理

　　对元数据存储需要使用专门的工具，拟定为（还需要做充分调研）Pentaho Metadata进行存储管理。通过工具与数据库系统的对接，将元数据导致进去，对于不支持系统对接的元数据，可手动进行添加。通过管理工具提供的辅助功能可对元数据进行标注、完善等。

四、元数据应用

　　通过元数据管理工具将元数据服务提供给所有业务人员，使业务人员也能够快速的从业务角度理解数据，从而帮助业务人员更好的利用数据。以下用三个方面来阐述元数据的实际应用价值：

　　1、元数据对比分析

　　业务系统由开发环境到测试环境再到生产环境，在系统的设计、开发、测试、上线过程中，无论需求变更还是Bug都会导致元数据的改动。大到库表结构重新设计，小到字段类型的变更，都可能导致系统出现重大问题。为了避免这种问题的发生，我们可以使用元数据系统的对比分析功能，元数据系统可以自动采集三个环境的库、表、字段、视图、存储过程等结构，自动化采集保证了各自环境中都是最新的、最准确的元数据结构，我们对上线的数据环境与测试库进行对比，会轻松的发现问题所在，能大大降低这些问题发生的概率。

　　2、数据流向分析

　　数据平台系统中，业务数据由操作型数据几分析型数据转换，通过大量的数据抽取、转换、清洗等过程形成了分析统计数据。数据由业务系统->数据仓库->数据集市->分析报表，数据加工链路比较长，期间处理方式多元化，很容易会出现数据项不符合业务逻辑的情况，出现问题也很难迅速解决。

　　通过使用元数据系统的数据流向分析，即影响分析（上游->下游）与血缘分析（下游->上游），提供了字段级的数据解析，上下游之间的数据加工链路可以通过图形的方式快速定位，可以快速定位特定的表和某些字段，然后做详细的逻辑分析，大大简化了分析环节，提升了解决问题的效率。

　　3、交易链路分析

　　元数据可以辅助快速梳理系统服务之间的调用关系与服务间的接口。比如交易系统中入金、记账、结算等业务，会经过一系统复杂的系统接口服务调用，为了更为清晰、准确的了解交易流程，需要对各个服务进行梳理、整合，由于涉及不同的部门、系统，工作量和工作难度将相当大。为了解决这个问题，元数据的链路分析能力可以自动化的完成梳理任务，元数据可以通过服务接口的采集，自动获取服务的信息，包括参与接口调用的输入、输出字段信息，并通过系统自动采集相关的数据字典与关系映射，避免人工梳理造成漏误，以元数据驱动，服服务的业务元数据规范新的服务，完成整个服务系统。

　　另外还可以进行实体关联分析、实体差异分析、指标一致性分析、辅助应用优化、辅助案例管理。

 

转自:https://www.cnblogs.com/ufoet/p/MetadataManagement.html