datax执行流程

最新推荐文章于 2024-09-05 23:08:02 发布

当当是个程序员

最新推荐文章于 2024-09-05 23:08:02 发布

阅读量858

点赞数

分类专栏：杂

本文链接：https://blog.csdn.net/u012601009/article/details/118755926

版权

DataX执行流程包括：检查源数据连接，初始化job容器，分割任务，设置通道大小，执行查询，调度taskGroup，异步执行task。通过Communication进行监控读写记录，taskGroup定时汇报数据，job容器合并所有taskGroup的消息并等待数据。DataX框架中，taskExecutor负责初始化task，使用BufferedRecordExchanger进行数据交换，并处理依赖冲突问题。

摘要由CSDN通过智能技术生成

datax执行流程

首先开启一个job对源数据连接进行检查，判断是否是通的，检查源表有哪些字段,开启job容器，
readerJob,writerJob,job容器分割为小的task，job设置通道大小N，查询分割主键的最小值和最大值，分割后的所有的查询sql,job容器开启调度
调度开启一个taskGroup,task容器为所有的task开启N个通道，异步的执行各个task
所有的任务完成后开始post操作，WriterJob和ReaderJob都进行post操作

datax监控读写记录的方式：
采用一个消息件Communication
job容器和taskgroup容器之间通过communication传递读写任务执行的情况
jobId绑定一个communication taskgroupId绑定一个communication
定时的taskgroup容器会将自己采集到的数据汇报给job容器
core.json 汇报时间设置为1s 原本是10s
job容器等候1s获得汇报者采集的数据
job容器初始化消息件，消息件初始化会设置采集器和汇报者
job容器的消息件是将所有的taskgroup的消息件合并在一起
job容器和taskgroup容器继承同一个抽象容器使用它的containerCommunicator变量进行汇报

taskgroupRunner开启一个任务执行taskgroup容器start方法，在taskgroup容器中根据配置文件注册task消息件，注册的同时将taskId和消息件绑定到taskCommunicationMap

taskcommunication是task消息件用于在Writer和Reader中统计读写记录情况，taskgroup容器初始化每个任务的taskcommunication消息件

taskEx