你的数仓做的好不好,其实元数据管理系统就可以检验。
那为什么要进行元数据管理呢?
- 降低数据的使用成本。
- 驱动ETL开发
那元数据包含哪些呢?
技术元数据:库(库名称)、表(表类型、名称、注释、状态、创建时间、生命周期、存储路径、DDL语句、热度)、
字段(名称、类型、注释、单位)、分区(名称、大小、记录条数、生成时间)、血缘(上下游节点信息)
业务元数据: 指标统计口径、分层、主题域、负责人
管理元数据:DQC、SLA、存储、计算资源、预算、账单、手写查询、生产etl任务
那我们有了它,可以应用到哪些地方呢?
血缘分析、影响分析、数据安全、数据质量、数据建模