前言
有这么一个场景:
一家电商公司A,收购了另一家电商公司B。两家公司的业务是高度重合的,在合并之后,这些业务需要整合在一起。在整合的时候,可能会遇到以下问题:两个系统中同样的表名却代表不同的业务过程,同样的字段名的业务含义也不同;反之亦然。有些表的命名不规范,如T_XYZ,T_123,光看表名不知道是什么意思,字段也存在同样的问题。这个时候就需要元数据了。
元数据
元数据,简而言之是描述数据的数据。元数据主要有四种类型:
- 业务元数据
- 结构元数据
- 技术元数据
- 操作元数据
业务元数据描述用户关心的业务内容,比如说商品有有个价格字段,价格的单位是人民币还是美元或者其他币种需要记录在业务元数据中;或者说在一张记录订单累计销售额的事实表中,这个销售额是否包括税、折扣?销售额的计算是否包含了本月的数据?
结构元数据描述数据对象的结构,比如图书由书名、作者、出版社、简介等构成。
技术元数据是描述技术和数据结构的元数据。比如数据源信息;数据转换的描述;表字段的名称、长度、类型;数据清理和数据更新时用的规则;源数据到目的数据的映射等信息。
操作元数据主要是描述对数据进行操作的记录。比如修改数据的记录,访问数据的记录及频率,ETL过程等。