本文基于windows环境使用datax,Linux环境下酌情参考。
开发工具与环境参数:
Windows环境:IDEA、JDK1.8、Maven3.6.0、Python 2.7.16
Linux环境:MySQL5.7.25(部署在两台虚拟机)
一、环境准备
windows版的Python的安装和环境参数配置,参考 https://www.runoob.com/python/python-install.html,很详细。jdk和maven的不做赘述。
二、datax编译
从 https://github.com/alibaba/DataX 将代码下载到本地
datax代码pom文件的版本参数为1.6或1.7,根据本地的jdk环境,全部修改为实际的版本号。
通过maven打包命令(跳过test测试)
mvn -U clean package assembly:assembly -Dmaven.test.skip=true
2.1 报错:Failed to execute goal on project odpsreader: Could not resolve dependencies for project com.alibaba.datax:odpsreader:jar:0.0.1-SNAPSHOT: Could not find artifact com.alibaba.external:bouncycastle.provider:jar:1.38-jdk15 in nexus -> [Help 1]