基于MaxCompute InformationSchema进行血缘关系分析

最新推荐文章于 2024-07-31 09:45:00 发布

阿里云技术

最新推荐文章于 2024-07-31 09:45:00 发布

阅读量381

点赞数

文章标签： MaxCompute string 数据应用

本文链接：https://blog.csdn.net/weixin_43970890/article/details/103664540

版权

本文探讨如何利用MaxCompute的Information_Schema中的tasks_history表，通过作业ID的输入输出表分析数据表的血缘关系，以理解数据上下游依赖。通过示例SQL和流程说明，提供了一种血缘分析的方法，并鼓励读者根据业务需求调整。

摘要由CSDN通过智能技术生成

一、需求场景分析
在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。
本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。
二、方案设计思路
MaxCompute Information_Schema提供了访问表的作业明细数据tasks_history，该表中有作业ID、input_tables、output_tables字段记录表的上下游依赖关系。根据这三个字段统计分析出表的血缘关系
1、根据某1天的作业历史，通过获取tasks_history表里的input_tables、output_tables、作业ID字段的详细信息，然后分析统计一定时间内的各个表的上下游依赖关系。
2、根据表上下游依赖推测出血缘关系。
三、方案实现方法
参考示例一：
（1）根据作业ID查询某表上下游依赖SQL处理如下：

select
t2.input_table,
t1.inst_id,
replace(replace(t1.output_tables,"[",""),"]","") as output_table
from information_schema.tasks_history  t1
left join
(
    select
    ---去除表开始和结尾的[ ]
    trans_array(1,",",inst_id,
    replace(replace(input_tables,"[",""),"]","")) as (inst_id,input_table)
    fro