元数据-血缘分析-应用场景总结

1、异常定位

假设有指标异常,想知道是什么造成的。
通过 血缘分析配合数据质量,了解底层数据的波动情况,方便定位原因。

2、提升调度性能

通过收集 调度任务的开始结束时间,了解 关键任务 ETL链路的时间瓶颈,再根据JOB任务的执行情况,定位到性能瓶颈
通过调整 任务的优先级,保证任务的资源提供, 提升整条ETL链路的执行效率。

3、仓库优化

通过对表和字段的下游使用频次,找到使用较多的,分析其是否有重复计算,浪费资源的情况。再判断是否可以因此建设事实或维度表,或者把计算的指标或维度沉淀

4、给表和字段打标签

通过血缘分析,对整条链路打上标签,比如业务数据,广告、订单之类。
也可以打上优先级重要程度的标签。

5、判断 调度平台 依赖关系是否正确

在平常工作的时候,很可能修改过SQL,但是忘记在调度平台上修改对应的依赖关系, 时间长了就可能会出问题。
通过调度平台的调度关系,和收集到的血缘关系对比,判断调度平台的依赖关系是否正确。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值