数据仓库中元数据的定义、用途及元数据的分类
(1)元数据的定义:
元数据是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。
元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。
元数据可以帮助数据仓库管理员和开发人员快速找到他们所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。
(2)元数据的用途:
通过元数据可以看到某个数据计算作业的重要程度如何,是否还有下游在使用,是否可以下线。通过元数据的血缘链路可以清楚地统计到某个产品所用到的数据在计算、存储、质量上存在哪些问题。
[1]对于数据使用者,可以快速找到所需要的数据;
[2]对于ETL工程师,可以通过元数据指导其进行模型设计、任务优化等各种ETL工作;
[3]对于运维工程师。可以通过元数据指导其进行整个集群的存储,计算和系统优化等运维工作。
(3)元数据的分类:
元数据按用途的不同分为两类:技术元数据、业务元数据。
技术元数据:存储关于数据仓库系统技术细节的数据,用于开发和管理数据仓库使用的数据。
业务元数据:从业务角度描述了数据仓库中的数据,提供介于使用者和实际系统之间的语义层,使业务人员也能“读懂“数据仓库中的数据。
常见的业务元数据:onedata元数据。