DataX 3.0执行流程分析

最新推荐文章于 2024-08-14 15:06:38 发布
最新推荐文章于 2024-08-14 15:06:38 发布
阅读量869 收藏 3
点赞数 2
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28044241/article/details/103553778
版权
本文详细分析了DataX 3.0的执行流程，从Engine入口类开始，涵盖重要参数介绍、Engine启动流程，包括参数解析、Engine start过程，深入解析JobContainer的初始化、预处理、Job拆分及调度等关键步骤。
摘要由CSDN通过智能技术生成

DataX 3.0执行流程分析

入口类：com.alibaba.datax.core.Engine

Engine是DataX入口类，该类负责初始化Job或者Task的运行容器，并运行插件的Job或者Task逻辑。

1. 重要参数介绍

DataX 的执行涉及到三类重要的配置文件，它们分别是：xxxJob.json,core.json和plugin.json
  • xxxJob.json:作业相关配置信息，指定相应的reader、writer等
  • core.json：DataX 内置的配置信息，如jvm配置等基础配置信息
  • plugin.json：插件配置信息，根据DataX的插件开发要求，每个插件都必须有对应的配置信息

在DataX启动时，指定jobid,job配置文件路径,DataX工作路径等，启动脚本如下所示：

java -server -Xms1g -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/Users/admin/IdeaProjects/DataX/target/datax/datax/log -Dloglevel=info -Dfile.encoding=UTF-8 -Dlogback.statusListenerClass=ch.qos.logback.core.status.NopStatusListener -Djava.security.egd=file:///dev/urandom -Ddatax.home=/Users/admin/IdeaProjects/DataX/target/datax/datax -Dlogback.configurationFile=/Users/admin/IdeaProjects/DataX/target/datax/datax/conf/logback.xml -classpath /Users/admin/IdeaProjects/DataX/target/datax/datax/lib/*:.  -Dlog.file.name=n_stream2stream_json com.alibaba.datax.core.Engine -mode standalone -jobid -1 -job /Users/admin/IdeaProjects/DataX/target/datax/datax/bin/stream2stream.json

2. Engine启动流程

2.1 Engine启动流程图
Engine ConfigParser JobContainer LoadUtil entry(args) ConfigParser.parse(jobPath) ConfigParser.parseJobConfig(jobPath) ConfigParser.parseCoreConfig(CoreConstant.DATAX_CONF_PATH),false) Configuration.merge(jobConfig,coreConfig) parsePluginConfig(List<String> wantPluginNames) Configuration.merge(jobConfig,coreConfig) return Configuration engine.start(configuration) ColumnCast.bind(allConf) LoadUtil.bind(allConf) start(allConf) this.init()【reader和writer初始化：设置插件配置信息】 this.prepare()【完成插件加载】 LoadUtil.getJarLoader(PluginType,PluginName) JarLoader【提供Jar隔离的加载机制】 this.split()【执行reader和writer最细粒度的切分】 this.schedule()【对上一步split的任务进行分组并调度执行】 this.post() Engine ConfigParser
最低0.47元/天 解锁文章
FelixClinton
关注
专栏目录
DataX--源码浅读（作业的执行流程）
loftiest的博客
05-06 1307
DataX的执行顺序 init：Job对象初始化工作，获取与job有关的配置参数等 prepare：全局准备工作，比如清空目标表，清空hdfs目标文件 split：拆分Task schedule：负责任务的调度分配。 init：task对象的初始化，获取与task相关的配置参数 prepare：局部的准备工作 startRead：从数据源读数据，写到RecordSender中。RecordSender再将数据写入连接Reader和Writer的缓存队列。 channel：Reader和Writer的缓存队
Datax的执行流程源码分析
Anna4的博客
02-14 955
DataX的框架的核心部分 1、配置贯穿DataX，all in configuration，将配置的json用到了极致 2、另一块是通过URLClassLoader实现插件的热加载。 Job&Task概念  在DataX的逻辑模型中包括job、task两个维度，通过将job进行task拆分，然后将task合并到taskGroup进行运行。 job实例运行在jobContainer容器中，...
DataX教程（二）
最新发布
weixin_37605393的博客
08-14 1113
DataX-Web 使用界面操作数据同步
图解DataX执行流程.pdf
08-17
datax执行流程,比较详细的解读datax的扭转过程.相关的githup地址https://github.com/alibaba/DataX
datax执行流程
龙共三金的专栏
07-15 861
datax执行流程 首先开启一个job对源数据连接进行检查，判断是否是通的，检查源表有哪些字段,开启job容器， readerJob,writerJob,job容器分割为小的task，job设置通道大小N，查询分割主键的最小值和最大值，分割后的所有的查询sql,job容器开启调度 调度开启一个taskGroup,task容器为所有的task开启N个通道，异步的执行各个task 所有的任务完成后开始post操作，WriterJob和ReaderJob都进行post操作 datax监控读写记录的方式： 采用
datax底层原理_DataX 3.0 源码解析一
weixin_39712611的博客
12-19 504
源码解析基本调用类分析任务启动由python脚本新建进程进行任务执行，后续执行由Java进行，以下将对java部分进行分其中的调用原理机制。Engine首先入口类为com.alibaba.datax.core.Engine的main方法，其中通过调用其本身的静态方法entry，该方法主要针对输入参入进行格式化以及校验：BasicParser parser = new BasicParser();C...
简单剖析datax执行过程（原理）
qq_29137837的博客
06-19 4543
DataX架构简介 DataX设计理念 模块介绍 入口，目录如左图 DataX启动过程 启动 读文件加载配置json（在这一步可以做一些配置化集成） 绑定column转换信息，主要针对日期格式 初始化插件配置信息 DataX主要执行过程 这里贴一下split和scheduler核心代码 Split: needChannelNumber 是建议分片数，根据配置计算获得 taskNum...
datax（四）源码阅读之一张图搞定datax执行流程(附带各种说明)
qq_31957747的博客
12-28 698
执行流程图如下，还在持续补充更新：https://www.processon.com/view/link/5fe81e2363768932a287d1fc
1、datax3.0部署与验证
05-29
【DataX3.0简介】 DataX3.0是阿里云DataWorks数据集成的开源版本，专注于离线数据同步，广泛应用于阿里巴巴集团内部。它旨在高效地同步多种异构数据源，如MySQL、Oracle、HDFS等，通过其强大的Reader和Writer插件...
DataX 3.0 源码解析（一）
xingdianp的博客
02-17 715
DataX 3.0 源码解析（一） 基本调用类分析 任务启动由python脚本新建进程进行任务执行，后续执行由Java进行，以下将对java部分进行分 其中的调用原理机制。 Engine 首先入口类为com.alibaba.datax.core.Engine的main方法，其中通过调用其本身的静态方法entry，该方法主要针对输入参入进行格式化以及校验： BasicParser parser = new BasicParser(); CommandLine cl = parser.parse(option
DataX 3.0的介绍及使用情况
guofeng_0的博客
10-14 452
DataX 3.0的介绍及使用情况 DataX 3.0 介绍 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 使用现状 Da
【数据同步】DataX3.0
qq_37472274的博客
01-06 1057
​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本小节按一个DataX作业生命周期的时序图，从整体架构设计非常简要说明DataX各个模块相互关系。​ 经过几年积累，DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入。二、DataX3.0框架设计。
DataX运行流程和架构
weixin_59990602的博客
09-07 181
3、切分多个task之后，DataX job会调用 Scheduler模块，根据配置的并发数据量，将拆分的task重新组合，组装成TaskGroup（task 组）,每个taskgroup负责一定的并发运行完毕分配好的所以task，默认单个任务组的并发数量为5。2、DataX job 启动后会根据不同的远端切分策略，将job切分成多个晓得task 任务，以便于并发执行，Task 便是 DataX作业的最小单元，每一个task都会负责一部分数据的同步工作。否则，异常退出，进程退出值非0。
DataX教程（07）- 图解DataX任务分配及执行流程
阿甘兄
02-16 2601
文章目录01 引言02 图解任务分配及执行流程03 文末 01 引言 通过前面的博文，我们对DataX有了一定的深入了解了： 《DataX教程（01）- 入门》 《DataX教程（02）- IDEA运行DataX完整流程（填完所有的坑）》 《DataX教程（03）- 源码解读（超详细版） 《DataX教程（04）- 配置完整解读》 《DataX教程（05）- DataX Web项目实践》 《DataX教程（06）- DataX调优》 本文主要讲解的是DataX的任务分配以及执行的流程。 02 图解任务分
datax 执行流程分析
weixin_34349320的博客
03-03 525
https://www.jianshu.com/nb/29319571 https://www.jianshu.com/p/b10fbdee7e56 转载于:https://www.cnblogs.com/chengjianxiaoxue/p/10465675.html
Datax执行流程，优缺点
吃素的哈士奇de博客
06-16 826
1、解析配置，包括job.json、core.json、plugin.json三个配置 2、设置jobId到configuration当中 3、启动Engine，通过Engine.start()进入启动程序 4、设置RUNTIME_MODE到configuration当中 5、通过JobContainer的start()方法启动 6、依次执行job的preHandler()、init()、prepare()、split()、schedule()、- post()、postHandle()等方法。 7、ini
DataX运行流程-源码解读
YaoZhiyi
02-10 2911
Engine入口（com.alibaba.datax.core.Engine）main方法里面执行entry()方法： Entry()方法主要做了2件事情，解析生成configration生成一个新的Engine然后启动Engine的start()方法 ConfigParser.parse()这个方法主要做以下三件事，然后生成一个configration用来执行start()方法： 1） 解...
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
热门推荐
星光不问赶路人，岁月不负有心人
06-29 1万+
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）
DataXceiver写数据的过程详解
欲问君有几多愁的博客
03-15 932
在上篇文章中，已经介绍了DataXceiver读取数据的详细过程。这篇文章就讲解一下流式接口向数据节点写数据的操作，DataTransferProtocol.write（）方法给出了写操作的接口定义，操作码是80，DataXceiver.writeblock（）则真正实现了DataTransferProtocol.writeblock（）方法。 我们知道，HDFS使用数据流管道来写数据，DFSC...
阿里DataX 3.0部署与验证教程：异构数据源同步详解
DataX 3.0 是阿里云DataWorks数据集成的开源版本，专为离线数据同步设计，广泛应用于阿里巴巴集团内部。它提供了一套高效的数据同步解决方案，支持多种异构数据源间的交互，如MySQL、Oracle、HDFS、Hive等。DataX...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值