hive字段级血缘关系实现

1.数据血缘的概念
https://zhuanlan.zhihu.com/p/133953825
就放一张效果图，可以理解为有向无环图，对于图中的Table X，还可以画出其右半边，即Table X作为来源表的情况

2.环境准备：
开发环境：需要一台能够联外网的linux开发机。用来maven编译hive
生产环境：一台8c16t linux，内存128g
目前项目实现的效果
    将最早2015年至今的hql每日解析一次，约两万条sql语句，10线程并发解析，可以在一个小时内完成。解析成功率约98%
    前后端联调，前端展示优化。

3.数据血缘核心实现
    (1).http://cxy7.com/articles/2017/11/10/1510310104765.html
        利用hooks, 在hive-site.xml中配置 hive.exec.post.hooks 为 org.apache.hadoop.hive.ql.hooks.LineageLogger
        自己实现解析较为困难，可以直接用开源实现好的来做。但是也有一些解析结果不符合预期的
    (2).使用hive jdbc连接hiveserver2，编写程序并行运行sql时，在sql前加explain ,即只编译，不运行
    (3).hive-site.xml 并行编译配置 修改 hive.driver.parallel.compilation=true
    (4).https://blog.csdn.net/wotkk/article/details/74755083
        修改hive driver代码(org.apache.hadoop.hive.ql.Driver)，配合(2)做到只编译而不运行mr，达到缩短运行时间的目的
        具体思路：
            通过打印堆栈( (new Exception()).printStackTrace(); )知道
                当运行sql时，hive在runInternal方法中调用complieInternal
                当只需编译sql(sql前加上explain)时，hive在compileAndRespond中调用complieInternal
            complieInternal方法末尾加上自己的逻辑：
                只需要解析形如 insert into/override table xxxx select ...这种格式的sql,对于create table xxx as select 可以前期做预处理转化为insert into ...
                拿到sql去掉前面的explain，调用删减后的RunInternal方法(fakeRunInternal,重点只保留hooks)
            参考(1)修改LineageLogger将产生的json保存到数据库，作为下一步解点边关系的输入数据

    4.其他工作
    (1)将不符合开源hive语法的sql进行转换，比如转换with语法（借助python的sqlparse来做），用正则转换create table等

       这个部分占用了大量工作量，原始sql的解析通过率为30%，解析后通过率达到99.7%
    (2)注册hive没有的永久udf
    (3)处理链路自动化

     包括了对hiveserver2 oom的处理
    (4)转换成功率统计