数据血缘知识总结

类型

逻辑血缘 物理血缘 时间血缘 操作血缘 业务血缘

血缘级别

算子级别血缘

描绘了数据的起源、流经途径以及其转换过程的详尽记录。

从 表 到 列 再到 算子

快照

一般血缘结构在业务没有修改时是不会变动的，改变后保留上一次的结构以供用户查阅血缘的变动。

收集方式

• 元数据采集
• sql解析
• API对接
• 人工维护
• 人工对接
• ER图导入

主动分析

• sql解析
• 日志分析
• 实时抓取

痛点

时效性差 准确度差

维持准确度：

技术： 业务 两个角度看怎么维持，提供接口给用户实现业务维度校准

数据链路的高效盘点 风险影响的及时全面分析 数仓模型的长效优化 重复指标的发现和持续治理