1、业务元数据
-
描述 ”数据”背后的业务含义
-
主题定义:每段 ETL、表背后的归属业务主题。
-
业务描述:每段代码实现的具体业务逻辑。
-
标准指标:类似于 BI 中的语义层、数仓中的一致性事实;将分析中的指标进行规范化。
-
标准维度:同标准指标,对分析的各维度定义实现规范化、标准化。
-
不断的进行维护且与业务方进行沟通确认。
2、技术元数据
-
数据源元数据
-
例如:数据源的 IP、端口、数据库类型;数据获取的方式;数据存储的结构;原数据各列的定义及 key 指对应的值。
-
ETL 元数据
-
根据 ETL 目的的不同,可以分为两类:数据清洗元数据;数据处理元数据。
-
数据清洗,主要目的是为了解决掉脏数据及规范数据格式;因此此处元数据主要为:各表各列的"正确"数据规则;默认数据类型的"正确"规则。
-
数据处理,例