使用Druid的sql parser做一个表数据血缘分析工具

最新推荐文章于 2024-08-08 08:30:59 发布

BinaryTom

最新推荐文章于 2024-08-08 08:30:59 发布

阅读量887

点赞数

本文链接：https://blog.csdn.net/weixin_46134254/article/details/105502642

版权

本文介绍如何利用Druid的SQL解析能力，构建一个血缘分析工具，用于大数据场景下的任务依赖管理。通过解析SQL获取抽象语法树，遍历树以确定输入输出表，从而分析任务的输入输出关系。

摘要由CSDN通过智能技术生成

前言

大数据场景下，每天可能都要在离线集群，运行大量的任务来支持业务、运营的分析查询。任务越来越多的时候，就会有越来越多的依赖关系，每一个任务都需要等需要的input表生产出来后，再去生产自己的output表。最开始的时候，依赖关系自然是可以通过管理员来管理，随着任务量的加大，就需要一个分析工具来解析任务的inputs、outs，并且自行依赖上生产inputs表的那些任务。本文就介绍一个使用druid parser，来解析SQL的input、output的血缘分析工具。

建议对druid比较陌生的同学可以先看下druid的官方文档。

做一次sql的血缘分析的流程

解析sql，拿到抽象语法树
遍历抽象语法树，得到from、to

使用druid解析sql到语法树

druid提供了简单、快速的SQL解析工具，可以很简单拿到一段SQL的AST(抽象语法树)。而druid对语法树提供了多种的SQLStatement，使遍历语法树更加容易。

 SQLStatementParser parser = SQLParserUtils.createSQLStatementParser(sql, JdbcConstants.HIVE);
 SQLStatement stmt= parser.parseStatementList().get(0);

从语法树中取出from和to

拿到语法树之后，想办法把from、to从语法树中取出来就大功告成。

最初的写法

最开始，就是简单的遍历一下语法树的节点，取出from表和to表的表名。

    /**
     * 根据create或者insert的sql取出from、to
     * @param sql
     * @return
     * @throws ParserException
     */
    private static Map<String, Set<String>> getFromTo(String sql) throws ParserException {
    
        SQLStatementParser parser = SQLParserUtils.createSQLStatementParser(sql, JdbcConstants.HIVE);
        SQLStatement stmt= parser.parseStatementList().get(0);

        Set<String> from = new HashSet<>();
        Set<String> to = new HashSet<>();
        if (stmt instanceof SQLInsertStatement) {
    
            SQLInsertStatement istmt = (SQLInsertStatement) stmt;
            to.add(istmt.getTableSource().toString().toUpperCase