SQLLineage.com(分析SQL的数据血缘关系)
数据的生产就像淘金,生产的步骤繁琐还需消耗大量的计算资源。而数据的多样性和差异性使得数据生产不得不不断的迭代处理逻辑, 分层数仓的设计简化了单层数据模型的设计,但增加了额外的计算资源消耗,当出现数据质量问题时更是质控者的噩梦。梳理清楚数据的来源、经过那些处理步骤、数据间存在那些引用和依赖的关系,这些信息归纳起来就是数据的血缘关系。而SQL强大的描述能力被广泛的应用在各种数据工具,分析SQL的AST是获取数据血缘关系的一个重要来源。个人开发了一个分析SQL获取数据血缘关系的小工具:www.sqllinea
原创
2021-07-31 10:29:42 ·
2143 阅读 ·
3 评论