DAMA数据管理知识体系(第12章 元数据管理)

• 课本内容
  • 12.1 引言
    • 图12-1 语境关系图：元数据
    • 概念理解
      • 元数据的信息范围很广，不仅包括技术和业务流程、数据规则和约束，还包括逻辑数据结构与物理数据结构等。它描述了数据本身（如数据库、数据元素、数据模型），数据表示的概念（如业务流程、应用系统、软件代码、技术基础设施），数据与概念之间的联系（关系）。元数据可以帮助组织理解其自身的数据、系统和流程，同时帮助用户评估数据质量，对数据库与其他应用程序的管理来说是不可或缺的。它有助于处理、维护、集成、保护和治理其他数据。
      • 元数据管理提供了获取和管理组织数据的主要方法
      • 技术元数据已经成为数据迁移和集成方法中不可或缺的一部分。ISO的元数据注册标准ISO/IEC 11179旨在基于精确数据定义，在异构环境中实现以元数据为驱动的数据交换。
    • 业务驱动因素
      • 1）通过提供上下文语境和执行数据质量检查提高数据的可信度。2）通过扩展用途增加战略信息（如主数据）的价值。3）通过识别冗余数据和流程提高运营效率。4）防止使用过时或不正确的数据。5）减少数据的研究时间。6）改善数据使用者和IT专业人员之间的沟通。7）创建准确的影响分析，从而降低项目失败的风险。8）通过缩短系统开发生命周期时间缩短产品上市时间。9）通过全面记录数据背景、历史和来源降低培训成本和员工流动的影响。10）满足监管合规。
    • 目标和原则
      • 管理目标
        • 1）记录和管理与数据相关的业务术语的知识体系，以确保人们理解和使用数据内容的一致性。2）收集和整合来自不同来源的元数据，以确保人们了解来自组织不同部门的数据之间的相似与差异。3）确保元数据的质量、一致性、及时性和安全。4）提供标准途径，使元数据使用者（人员、系统和流程）可以访问元数据。5）推广或强制使用技术元数据标准，以实现数据交换
      • 指导原则
        • 组织承诺
          • 确保组织对元数据管理的承诺（高级管理层的支持和资金），将元数据管理作为企业整体战略的一部分，将数据作为企业资产进行管理。
        • 战略
          • 制定元数据战略，考虑如何创建、维护、集成和访问元数据。战略能推动需求，这些需求应在评估、购买和安装元数据管理产品之前定义。元数据战略必须与业务优先级保持一致。
        • 企业视角
          • 从企业视角确保未来的可扩展性，但是要通过迭代和增量交付来实现，以带来价值。
        • 潜移默化
          • 宣导元数据的必要性和每种元数据的用途；潜移默化其价值将鼓励业务使用元数据，同时也为业务提供知识辅助。
        • 访问
          • 确保员工了解如何访问和使用元数据
        • 质量
          • 认识到元数据通常是通过现有流程（数据建模、SDLC、业务流程定义）生成的，所以流程所有者应对元数据的质量负责。
        • 审计
          • 制定、实施和审核元数据标准，以简化元数据的集成和使用。
        • 改进
          • 创建反馈机制，以便数据使用者可以将错误的或过时的元数据反馈给元数据管理团队。
    • 基本概念
      • 元数据和数据
      • 元数据的类型
        • 元数据通常分为三种类型：业务元数据、技术元数据和操作元数据
          • 业务元数据（Business Metadata）主要关注数据的内容和条件，另包括与数据治理相关的详细信息。业务元数据包括主题域、概念、实体、属性的非技术名称和定义、属性的数据类型和其他特征，如范围描述、计算公式、算法和业务规则、有效的域值及其定义。
          • 技术元数据（Technical Metadata）提供有关数据的技术细节、存储数据的系统以及在系统内和系统之间数据流转过程的信息
          • 操作元数据（Operational Metadata）描述了处理和访问数据的细节
        • 其他领域的元数据分类（信息技术以外）
          • 描述元数据（Descriptive Metadata）。描述资源并支持识别和检索，如标题、作者和主题等。
          • 结构元数据（Structural Metadata）。描述资源及其组成组件之间的关系，如页数、章节等。
          • 管理元数据（Administrative Metadata）。用于描述管理生命周期的元数据，如版本号、存档日期等。
      • ISO/IEC 11179元数据注册标准
        • 用于定义元数据注册的框架，共有6部分内容
      • 非结构化数据的元数据
        • 非结构化数据的元数据包括：描述元数据、结构元数据、管理元数据、书目元数据、记录元数据、保存元数据
      • 元数据来源
        • 应用程序中元数据存储库
        • 业务术语表
          • 业务术语表（Business Glossary）的作用是记录和存储组织的业务 概念、术语、定义以及这些术语之间的关系
          • 业务词汇表应用程序的构建需满足三个核心用户的功能需求
            • 业务用户
            • 数据管理专员
            • 技术用户
        • 商务智能工具
        • 配置管理工具
        • 数据字典
          • 数据字典定义数据集的结构和内容，通常用于单个数据库、应用程序或数据仓库
        • 数据集成工具
        • 数据库管理和系统目录
          • 数据库目录是元数据的重要来源，它们描述了数据库的内容、信息大小、软件版本、部署状态、网络正常运行时间、基础架构正常运行时 间、可用性，以及许多其他操作元数据属性
        • 数据映射管理工具
        • 数据质量工具
        • 字典和目录
        • 事件消息工具
        • 建模工具和存储库
        • 参考数据库
        • 服务注册
        • 其他元数据存储
      • 元数据架构类型
        • 1）元数据创建和采集。2）元数据在一个或多个存储库中存储。3）元数据集成。4）元数据交付。5）元数据使用。6）元数据控制和管理。
          • 集中式元数据架构
            • 集中式存储库的优点有： 1）高可用性，因为它独立于源系统。2）快速的元数据检索，因为存储库和查询功能在一起。 3）解决了数据库结构问题，使其不受第三方或商业系统特有属性的影响。 4）抽取元数据时可进行转换、自定义或使用其他源系统中的元数据进行补充，提高了元数据的质量。
            • 集中式存储库的缺点有：1）必须使用复杂的流程确保元数据源头中的更改能够快速同步到存储库中。2）维护集中式存储库的成本可能很高。3）元数据的抽取可能需要自定义模块或中间件。4）验证和维护自定义代码会增加对内部IT人员和软件供应商的要求。
          • 分布式元数据架构
            • 分布式元数据架构的优点包括：1）元数据总是尽可能保持最新且有效，因为它是从其数据源中直接检索的。2）查询是分布式的，可能会提高响应和处理的效率。3）来自专有系统的元数据请求仅限于查询处理，而不需要详细了解专有数据结构，因此最大限度地减少了实施和维护所需的工作量。4）自动化元数据查询处理的开发可能更简单，只需要很少的人工干预。5）减少了批处理，没有元数据复制或同步过程。
            • 分布式元数据架构的缺点包括：1）无法支持用户定义或手动插入的元数据项，因为没有存储库可以放置这些添加项。2）需要通过统一的、标准化的展示方式呈现来自不同系统的元数据。3）查询功能受源系统可用性的影响。4）元数据的质量完全取决于源系统。
          • 混合式元数据架构
            • 混合架构结合了集中式和分布式架构的特性，元数据仍然直接从源系统移动到集中式存储库，但存储库设计仅考虑用户添加的元数据、重要的标准化元数据以及来通过自手工来源添加的元数据
            • 基于用户的优先级和要求，元数据在使用时尽可能是最新且有效的。混合架构不会提高系统可用性。
          • 双向元数据架构
            • 另一种高级架构方法是双向元数据架构，它允许元数据在架构的任何部分（源、数据集成、用户界面）中进行更改，然后将变更从存储库 （代理）同步到其原始源以实现反馈
  • 12.2 活动
    • 定义元数据战略
      • 元数据战略包括定义组织元数据架构蓝图和与战略目标匹配的实施 步骤
        • 1）启动元数据战略计划
        • 2）组织关键利益相关方的访谈
        • 3）评估现有的元数据资源和信息架构
        • 4）开发未来的元数据架构
        • 5）制订分阶段的实施计划
    • 理解元数据需求
      • 元数据需求的具体内容是：需要哪些元数据和哪种详细级别。
    • 定义元数据架构
      • 元数据管理系统必须具有从不同数据源采集元数据的能力，设计架 构时应确保可以扫描不同元数据源和定期地更新元数据存储库，系统必 须支持手工更新元数据、请求元数据、查询元数据和被不同用户组查 询。
        • 创建元模型
          • 元数据存储库元模型示例
        • 应用元数据标准
        • 管理元数据存储
          • 控制活动包括：1）作业调度和监控。2）加载统计分析。3）备份、恢复、归档、消除。4）配置修改。5）性能调优。6）查询统计分析。7）查询和报表生成。8）安全管理。
          • 质量控制活动包括：1）质量保证，质量控制。2）数据更新频率——与时间表匹配。3）缺失元数据报告。4）未更新的元数据报告。
          • 元数据管理活动包括：1）加载、探测、导入和标记数据资产。2）记录与源的映射和迁移关系。3）记录版本。4）用户界面管理。5）连接数据集的元数据维护——为NOSQL提供支持。6）数据与对内数据采集建立连接——自定义连接和作业元数据。7）外部数据源和订阅源的许可。8）数据增强元数据，如关联GIS。
          • 培训活动包括：1）教育和培训用户和数据专员。2）生成和分析管理指标。3）对控制活动、查询、报告进行培训。
    • 创建和维护元数据
      • 元数据管理原则
        • 责任
        • 标准
        • 改进
      • 元数据维护计划
        • 整合元数据
          • 集成过程中从整个企业范围内收集和整合元数据，包括从企业外部 获取的数据中的元数据
          • 元数据整合过程中可能存在一些挑战，也可能需要诉诸数据治理流 程进行协调解决
          • 对元数据存储库的扫描有两种不同的方式
            • 专用接口
              • 采用单步方式，扫描程序从来源系统中采集元数据，直接调用特定格式的装载程序，将元数据加载到元数据存储中。在此过程中，不需要输出任何中间元数据文件，元数据的采集和装载也是一步完成的。
            • 半专用接口
              • 采用两步方式，扫描程序从来源系统中采集元数据，并输出到特定格式的数据文件中。扫描程序只产生目标存储库能够正确读取和加载的数据文件。数据文件可以被多种方式读取，所以这种接口的架构更加开放。
        • 分发和传递元数据
          • 传递机制包括：1）元数据内部网站，提供浏览、搜索、查询、报告和分析功能。2）报告、术语表和其他文档。3）数据仓库、数据集市和BI（商务智能）工具。4）建模和软件开发工具。5）消息传送和事务。6）Web服务和应用程序接口（API）。7）外部组织接口方案（如供应链解决方案）。
        • 查询、报告和分析元数据
          • 元数据指导如何使用数据资产
    • 查询、报告和分析元数据
  • 12.3 工具
    • 管理元数据的主要工具是元数据存储库
  • 12.4 方法
    • 数据血缘和影响分析
      • 要想成功发现数据血缘关系，需要兼顾业务焦点和技术焦点。
    • 应用于大数据采集的元数据
      • 元数据标签应在采集时应用于数据，然后元数据可以用来识别可访问的数据湖中的数据内容
  • 12.5 实施指南
    • 就绪评估/风险评估
      • 拥有坚定的元数据战略，有助于所有人进行更高效率的决策
      • 组织准备情况的评估解决方法为
        • 对元数据相关活动现状进行正式的成熟度评估，评估内容应包括重要的业务数据元、可用的元数据术语表、数据血缘、数据剖析和数据质量管理过程、主数据管理成熟度和其他方面
      • 元数据战略是整体数据治理战略的一部分，是实现有效数据治理的第一步
    • 组织和文化变革
  • 12.6 元数据治理
    • 过程控制
    • 元数据解决方案的文档
      • 元数据的主目录包括当前作用域中的源和目标
    • 元数据标准和指南
    • 度量指标
      • 元数据存储库完整性
      • 元数据管理成熟度。
      • 专职人员配备
      • 元数据使用情况
      • 业务术语活动
      • 主数据服务数据遵从性
      • 元数据文档质量
      • 元数据存储库可用性
• 考察分值&知识点
  • 考察分值
    • 10分