元数据
元数据是描述数据的数据,关于数据的组织、数据域及其关系,本质上是关于数据的信息。元数据以数字化方式描述企业的数据、流程和应用程序,为企业数字资产的内容提供了上下文,使得数据更容易理解、查找、管理和使用。
元数据分类
业务元数据、技术元数据、操作元数据
业务元数据
描述数据的业务含义、业务规则等
- 业务定义、业务术语解释等
- 业务指标名称、计算口径、衍生指标等
- 业务引擎的规则、数据质量检测规则、数据挖掘算法等
- 数据的安全或敏感级别等
技术元数据
是结构化数据,明确数据的存储、结构
- 物理数据库表名称、列名称、字段长度、字段类型、约束信息、数据依赖关系等
- 数据存储类型、位置、数据存储文件格式或数据压缩类型等
- 字段级血缘关系、SQL脚本信息、ETL信息、接口程序等
- 调度依赖关系、进度和数据更新频率等
操作元数据
描述数据的操作属性,包括管理部门、管理责任人等
- 数据所有者、使用者等
- 数据的访问方式、访问时间、访问限制等
- 数据访问权限、组和角色等
- 数据处理作业的结果、系统执行日志等
- 数据备份、归档人、归档时间等
元数据管理目标
- 建立数据指标体系
- 提高数据溯源能力
- 数据质量稽核体系
大数据时代,出现越来越多的非结构化、半结构化数据,通过元数据管理,有效利用企业数据资产,让数据发挥出尽可能大的价值,是企业数据治理和低代码平台的基础。