DataX 3.0执行流程分析

DataX 3.0执行流程分析

入口类：com.alibaba.datax.core.Engine

Engine是DataX入口类，该类负责初始化Job或者Task的运行容器，并运行插件的Job或者Task逻辑。

1. 重要参数介绍

DataX 的执行涉及到三类重要的配置文件，它们分别是：xxxJob.json,core.json和plugin.json

• xxxJob.json:作业相关配置信息，指定相应的reader、writer等
• core.json：DataX 内置的配置信息，如jvm配置等基础配置信息
• plugin.json：插件配置信息，根据DataX的插件开发要求，每个插件都必须有对应的配置信息

在DataX启动时，指定jobid,job配置文件路径,DataX工作路径等，启动脚本如下所示：

java -server -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/Users/admin/IdeaProjects/DataX/target/datax/datax/log -Dloglevel=info -Dfile.encoding=UTF-8 -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener -Djava.security.egd=file:///dev/urandom -Ddatax.home=/Users/admin/IdeaProjects/DataX/target/datax/datax -Dlogback.configurationFile=/Users/admin/IdeaProjects/DataX/target/datax/datax/conf/logback.xml -classpath /Users/admin/IdeaProjects/DataX/target/datax/datax/lib/*:.  -Dlog.file.name=n_stream2stream_json com.alibaba.datax.core.Engine -mode standalone -jobid -1 -job /Users/admin/IdeaProjects/DataX/target/datax/datax/bin/stream2stream.json

2. Engine启动流程

2.1 Engine启动流程图