SQLLineage.com（分析SQL的数据血缘关系）

最新推荐文章于 2024-09-13 22:19:06 发布
最新推荐文章于 2024-09-13 22:19:06 发布
阅读量2.1k 收藏 5
点赞数 3
分类专栏： 数据血缘关系 SQL解析 文章标签： etl sql js
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ding__lin/article/details/119271624
版权

数据的生产就像淘金，生产的步骤繁琐还需消耗大量的计算资源。而数据的多样性和差异性使得数据生产不得不不断的迭代处理逻辑， 分层数仓的设计简化了单层数据模型的设计，但增加了额外的计算资源消耗，当出现数据质量问题时更是质控者的噩梦。梳理清楚数据的来源、经过那些处理步骤、数据间存在那些引用和依赖的关系，这些信息归纳起来就是数据的血缘关系。而SQL强大的描述能力被广泛的应用在各种数据工具，分析SQL的AST是获取数据血缘关系的一个重要来源。个人开发了一个分析SQL获取数据血缘关系的小工具：

www.sqllineage.com/demo 

企业微信截图_872a1551-90a2-401c-9d83-9f287b4987fc.png

企业微信截图_1927826b-b3bb-465e-977e-ffde27b1f075.png

企业微信截图_dccb7116-3e3d-4f5a-9836-831bf305a17c.png

企业微信截图_eff1f787-8cf0-4786-b8e1-4bb659d11be2.png

企业微信截图_b29037a5-1f32-4126-9999-6d1e7fff6a19.png

由于是利用个人业余时间，时间仓促，不少功能还有待完善，欢迎提出宝贵的改进意见。平时工作较忙，请勿电话，但非常欢迎邮件和微信留言。

目前暂时只支持select语句

蓝色表格代表 select的结果，橙色表格代表 中间结果，绿色表格代表原始的表。 

子查询名字的后缀    _t代表子查询   _u  代表union的一个分段

蓝色线条代表字段的引用关系（目前未分类，未来希望做成不同样式的线条表示不同的引用关系）

橙色线条代表 表的join关系。

点击表的某个字段，这个字段关联的引用关系可以高亮显示。

ding__lin
关注
专栏目录
SQL血缘解析
butterBallj的博客
08-27 1224
是编程语言解析和编译过程中产生的一种树状数据结构，它表示源代码的语法结构。AST 抽象出代码的语法特征，同时剔除不必要的语法细节，提供了程序结构的抽象表示。
Mysql 数据血缘关系图_使用Druid解析SQL实现血缘关系计算
weixin_28730549的博客
02-01 2184
packagecom.cestc.dassets.service;importcom.alibaba.druid.sql.SQLUtils;importcom.alibaba.druid.sql.ast.SQLStatement;importcom.alibaba.druid.sql.visitor.SchemaStatVisitor;importcom.alibaba.druid.stat.Ta...
HiveSqlBloodFigure:hive血缘关系解析工具
04-18
HiveSqlBloodFigure 如果你喜欢这个项目，那就点击一下右上方的【Star】以及【Fork】，支持一下我，让我有动力持续更新！ 项目介绍 在数据仓库建设中，经常会使用到数据血缘追中方面的功能，本项目实现了对hql集合进行静态分析，获取hql对应的血缘图（表血缘 + 字段血缘） 项目升级内容 删除hive-exec与hadoop-common的maven依赖，使得项目更加的轻量级。 重构项目代码，优化解析，修复无字段血缘时，不能获取表血缘的BUG。 规范化接口输入输出，血缘图均为自定义实体，方便进行JSON序列化。 新增接口层，方便Spring的注入，同时也提供静态方式调用。 下个版本升级内容 引入JDBC获取元数据信息，使血缘图更加丰富，同时可以解决Sql中有select * 的问题。 测试用例 请关注test下的HiveBloodEngineTest与HiveSqlBloo
SQLLineage 安装和配置指南
最新发布
gitblog_09014的博客
09-13 364
SQLLineage 安装和配置指南 sqllineage SQL Lineage Analysis Tool powered by Python 项目地址: https://gitcode.com/gh_mirrors/sq/s...
【开源项目推荐】通用SQL数据血缘分析工具——Sqllineage
大数据流动
12-05 5473
大家好，我是独孤风，从本周开始，争取每周为大家带来一个优秀的开源项目推荐。开源项目不仅促进了技术的发展和普及，还为全球范围内的开发者和用户社区建立了一个共享知识、协作和创新的平台。站在巨人的肩膀上才能看的更远，我们平时也应该多多关注开源项目，不仅学习其丰富的知识，也要找机会为开源事业做出自己的贡献。话不多说，今天为大家推荐的开源项目名为SQLLineage。SQLLineage 是一个使用 Pyt...
sql血缘关系解析
qq_28725695的博客
08-21 1万+
sql create table default.target_table LOCATION '/data/location' as select a,b,d,e,f,g from log.source_table 生成的ast树 (TOK_CREATETABLE (TOK_TABNAME default target_table) TOK_LIKETABLE (TOK_TABL...
基于Python-sqlparse的SQL表血缘追踪解析实现_jsqlparser数据血缘分析(1)
2401_84181070的博客
05-07 713
当第一次看到此图我就决定血缘追踪就应该是这个样子，能够清晰的解析出每个字段和表之间的血缘关系。以此我们设定输出的基准，我们要做的项目目标就是如此。
SQLFlow：使用sqlparser解析血缘关系
woshihanhan1的博客
06-05 9544
在SQLFlow：在线解析SQL血缘关系（SQL Data Lineage）文章中，介绍了SQLFlow的基本使用。 经过研究发现，SQLFlow是基于SQL Parser实现的，具体可以看这个demo：https://github.com/sqlparser/gsp_demo_java/tree/master/src/main/java/demos/dlineage 下面我们尝试使用代码的方式，来解析血缘关系，看三个简单的例子： 从select语句中直接解析血缘关系 -- case 1 : my
python解析sql字段血缘_SQL血缘关系分析
weixin_42465885的博客
12-23 3474
大数据场景下，每天可能都要在离线集群，运行大量的任务来支持产品、运营的分析查询。任务越来越多的时候，就会有越来越多的依赖关系，每一个任务都需要等需要的input表生产出来后，再去生产自己的output表。最开始的时候，依赖关系自然是可以通过管理员来管理，随着任务量的加大，就需要一个分析工具来解析SQL的血缘关系，并且自行依赖上血缘表。本文就介绍一个使用druid parser，来解析SQL的血缘关...
基于gsp的sql解析工具
06-07
而在表字段关系分析上，用户可以快速了解字段间的关联性，有助于数据建模和查询优化。 关于SQL类型，工具能够识别出SELECT、INSERT、UPDATE、DELETE等基本操作，以及JOIN、WHERE、GROUP BY、HAVING、ORDER BY等子句...
com.microsoft.sqlserver.jdbc.SQLServerDriver
12-04
标题“com.microsoft.sqlserver.jdbc.SQLServerDriver”涉及的是微软SQL Server数据库与Java应用程序之间的连接驱动。这个驱动程序是Java Database Connectivity (JDBC)的一部分，允许Java开发者通过编写Java代码来...
SQL、Hive SQL等SQL血缘解析工具
01-14
// 测试用例如下 // 设置元数据服务 Delegate.getDelegate().setMetaColumnService(new IMetaColumnService() { @Override public List<String> queryMetaColumn(String dbName, String tableName) { return Collections.emptyList(); } @Override public boolean clearMetaColumnCache() { return true; } }); // 设置通知服务 Delegate.getDelegate().setNoticeService(s->{}); // 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = Delegate.getDelegate().getLineage(hql, "id"); // 获取name字段的血缘 LineageNode nameNode = Delegate.getDelegate().getLineage(hql, "name"); // 打印血缘 Utils.printLineage(idNode,nameNode);
durineage:解析SQL语句，分析血缘。不是table-table的关系，是column-column关系
05-16
durineage 描述 解析SQL语句，分析血缘。不是table-table的关系，是column-column关系。 使用 只有一个功能 Lineage lineage = new Lineage(); DB db = lineage.getInfo(sql语句, 数据库类型); //sql语句可为String、String[]、List<String> 规范（局限） 全局 绝对不要用“*” 如果字段不参与血缘，尽量不要被“count”，尽量用“count(1)” 所有字段格式：别名.字段名 select 绝对不要嵌“子查询” from 所有表格式：schema.表名 [as] 别名 所有表都得有“别名” 有schema的一定要加schema 子查询即使是内外嵌套，别名最好也不要相同 关联查询一定要用“join”，不能用其他 create create table schema.表名
通过解析sql语句获取表血缘关系项目
06-07
通过解析sql语句获取表血缘关系
python-sqlparse的SQL表血缘解析
chi_bai_001的博客
12-23 3281
数据治理和分析的难度和阵痛总是伴随着数仓建设日益加剧。为了更好的治理数据和评估影响分析——血缘就是我们绕不过的抓手！本文主旨：本文简单介绍了python-sqlparse解析sql的方式，欢迎大家一起讨论呀。
【SQL解析】- SQL血缘分析实现篇01
Pushkin.的博客
08-11 7926
SQL血缘解析实战 hive血缘解析 presto血缘解析 表血缘解析 字段血缘解析 血缘解析生产实践 gudusoft血缘解析 sqlflow血缘解析 druid血缘解析 antlr血缘解析
SQL血缘解析原理
shy_snow的专栏
09-28 2064
大致步骤如下： 1.sql文本进行词法分析 2.sql语法分析获取到AST抽象语法树 3.访问AST抽象语法树根据语法结构推测出数据的流向,例如create as select from 这种结构,数据就是从from的表流向select出来的ResultSet中间结果集最后流程create的表中, 字段可以使用字段名进行匹配，如果可以连接到元数据库是可以查询到表和字段的，如果仅仅根据sql文本分析，那么一般只能根据select中的字段名结合语法进行猜测。
第一次使用马哈鱼血缘分析工具（SQLFlow）
学习之余随便记记
08-24 9675
马哈鱼数据血缘分析工具（英文名称为 Gudu SQLFlow ）是一款用于分析 SQL 语句，并发现其中数据血缘关系的分析软件，经常和元数据管理工具一起使用，是企业数据治理的基础工具。如果你对 SQL 语言不熟悉，那么本文可能不适合你阅读。阅读本文无需事先有数据血缘相关的知识，只要把数据血缘关系简单的理解为数据库中两个或多个表之间的数据依赖关系即可。我们通过分析下面的 SQL 语句，来看看如何梳理出各个表/视图间的数据依赖关系。通过分析以上 INSERT SQL 语句，我们可以知道。
使用Druid的sql parser做一个表数据血缘分析工具
热门推荐
呦 ^v^-， 写Bug呢？
12-17 1万+
前言 大数据场景下，每天可能都要在离线集群，运行大量的任务来支持业务、运营的分析查询。任务越来越多的时候，就会有越来越多的依赖关系，每一个任务都需要等需要的input表生产出来后，再去生产自己的output表。最开始的时候，依赖关系自然是可以通过管理员来管理，随着任务量的加大，就需要一个分析工具来解析任务的inputs、outs，并且自行依赖上生产inputs表的那些任务。本文就介绍一个使用dru...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值