今天学习第 12 章元数据概述。关注公众号回复 802 获取 pdf。
1.元数据概述
1.1 元数据定义
定义:
- 元数据是关于数据的数据。
- 元数据打通了源数据、数据仓库、数据应用,记录了数据从生产到消费的全过程。
- 元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态即 ETL 的任务运行状态。
- 帮助开发人员方便找到数据仓库中他们所关心的数据,提高效率。
分类:
- 技术元数据:存储技术细节
- 分布式计算系统存储元数据
- 分布式计算系统存储元数据
- 数据开发平台中数据同步、计算任务,任务调度等信息
- 数据质量和运维相关元数据
- 业务元数据:从业务角度描述数仓中的数据,提供介于使用者和实际系统之间的语义层,使不懂技术的业务人员也能读懂数仓中的数据。
1.2 元数据价值
- 数据管理、数据内容、数据应用的基础
- 数据管理方便提供数据支持
- 数据内容方面提供数据素材
- 数据应用方面打通产品及应用链路
1.3 统一元数据体系建设
2.元数据应用
2.1 Data Profile
元数据画像,