DataHub: 现代数据栈的元数据平台--如何与spark集成，自动产生spark作业的数据血缘关系？

DataHub如何集成spark?

DataHub通过如下方式集成spark:

• 提供了一个轻量级的Java代理，它侦听Spark应用程序和作业事件，并实时将数据血缘元数据推送到DataHub
• Java代理侦听应用程序的开始、结束事件、SQLExecution的开始、结束事件，以在Datahub中创建pipelines (即DataFlow)和任务(即DataJob)，以及对正在读写的数据集间的数据血缘关系。

如下面的代码（源码参见：TestSparkJobsLineage.java

 spark = SparkSession.builder()
        .appName(APP_NAME)