一篇文章搞懂数据仓库:元数据分类、元数据管理

本文详细介绍了数据仓库中的元数据分类,包括业务元数据(如业务主题、业务逻辑、标准指标和维度)和技术元数据(如数据源、ETL过程和数据仓库结构)。还提及了元数据管理的重要性,特别是与业务方的沟通和维护。作者分享了自己的经历,提供了一份全面的Python开发学习资料,帮助开发者提升技能。
摘要由CSDN通过智能技术生成

3、管理元数据

4、小编有话


1、业务元数据

  1. 描述 ”数据”背后的业务含义

  2. 主题定义:每段 ETL、表背后的归属业务主题。

  3. 业务描述:每段代码实现的具体业务逻辑。

  4. 标准指标:类似于 BI 中的语义层、数仓中的一致性事实;将分析中的指标进行规范化。

  5. 标准维度:同标准指标,对分析的各维度定义实现规范化、标准化。

  6. 不断的进行维护且与业务方进行沟通确认。

2、技术元数据

  • 数据源元数据

  • 例如:数据源的 IP、端口、数据库类型;数据获取的方式;数据存储的结构;原数据各列的定义及 key 指对应的值。

  • ETL 元数据

  • 根据 ETL 目的的不同,可以分为两类:数据清洗元数据数据处理元数据

  • 数据清洗,主要目的是为了解决掉脏数据及规范数据格式;因此此处元数据主要为:各表各列的"正确"数据规则;默认数据类型的"正确"规则。

  • <
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值