dataX原理

大家在开发datax插件时，最先要做的是理解datax的源码在做什么。这里我做个简单的解释，datax同步入口在Engine.java（读取json配置)、JobContainer.java(对任务进行预处理，初始化，分割任务，插件扫描等）；datax底层是以双缓冲阻塞队列为整个数据交换的媒介，BufferedRecordExchanger.java（接受、传递数据的实体读写插件共享一个ArrayBlockingQuene）,读进程负责读取并向队列中添加读到的记录，写进程负责接收数据并从队列中取出写入记录。