以下是今天会议上我这边要给出一些参考资料(部署、踩过的坑):
【资料地址】
1.dataX官网地址:https://github.com/alibaba/DataX/blob/master/introduction.md
2.dataX-web官网地址:https://github.com/WeiYe-Jing/datax-web
3.dataX 下载
(1)github地址:https://github.com/alibaba/DataX
(2)tar包地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
【初次搭建部署坑】
(1)python版本和datax版本的兼容性要对应
(2)dataX写入模式model的命名需要规范
(3)dataX-web的job.json 在生成过程需要注意每个表任务的读写对应关系
(4)第一次全量数据会比较大,超时时间需要设置大点
【目前版本及部署位置】 多节点部署配置如下:
(1)版本:datax-web-2.1.2、datax 3.0
(2)部署位置:10.0.32.xx(datax、web)、10.0.32.xx(datax 该节点未注册) Linux目录:/usr/local/datax
(3)web地址:http://10.0.xx,xx:9527/index.html