需求
最近工作中遇到一个需求,需要分析一些snowflake数据库的SQL脚本文件中的数据沿袭关系(Data Lineage)。
可以使用SQLFlow工具完成这个需求。
snowflake文件中的SQL脚本是:
create materialized view exttable_csv_mv
as
select ID , LAST_NAME , FIRST_NAME ,COMPANY,EMAIL from mycsvtable;
create materialized view exttable_json_mv
as
select * from myjsontable;
使用
-
使用SQLFlow上传指定的数据文件。
-
查看SQLFlow分析后的结果
如图可知,SQLFlow正确的分析出了此SQL脚本的沿袭关系。
1,可以看到exttable_csv_mv
视图中的字段来自于表mycsvtable
.
2,exttable_json_mv
视图中所有的字段*
来自于表myjsontable
. -
查看分析提取后的数据
可以很清晰明了的看出有哪些表,视图,以及字段,右侧summary中也进行了统计。并且可以进行模糊搜索,检索数据更加方便快速。
总结
SQLFlow是一款很强大的SQL脚本沿袭关系分析工具,除了分析指定SQL脚本文件的功能外,还有一些其他的强大功能,供我们进行灵活的分析数据,后续会再进行分享。
附上SQLFlow的地址:SQLFlow