文章目录
【大数据之路】数据管理篇 《一》元数据
1 元数据概述
1.1元数据定义
元数据(Metadata)是关于数据的数据。数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。
将元数据按用途的不同分为两类: 技术元数据(Technical Metadata) 和业务元数据 (Business Metadata)。
技术元数据是存储关于数据仓库系统技术细节的数据 , 是用于开发和管理数据仓库使用的数据。
业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够 “读懂"数据仓库中的数据。阿里巴巴常见的业务元数据有:OneData元数据。
1.2元数据价值
在数据管理方面为集团数据提供在计算、存储、成本、质量、安全、模型等治理领域上的数据支持。例如在计算上可以利用元数据查找超长运行节点,对这些节点进行专项治理,保障基线产出时间。
在数据内容方面为集团数据进行数据域、数据主题、业务属性等的提取和分析提供数据素材。例如可以利用元数据构建知