DataX是阿里巴巴集团内部被广泛使用的离线数据同步工具/平台,实现包括MySQL,Oracle,SqlServer,Postgre,HDFS,Hive,ADS,HBase,TableStore(OTS),MaxCompute(ODPS),DRDS等各种异种构数据源之间高效的数据同步功能。
DataX官网https://github.com/alibaba/DataX
System Requirements:
- Linux or(Windows)
- JDK1.8(或以上)
- Python环境(推荐2.6.X)
工具部署
- 方法一:
- Linux中使用,可直接下载DataX下载地址
- 下载后解压至本地某个目录,进入bin目录,即可运行同步作业:
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
- 自检脚本: (data文件夹下的job目录)
$ python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json
- 方法二:下载DataX源码,自己编译:DataX源码
- 下载DataX源码:
$ git clone git@github.com:alibaba/DataX.git
- 通过maven打包:
$ cd {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
注意: Maven中setting的镜像需要有阿里云镜像,其次,打包clickhouse报错可去issues中查找,Pom.xml中有个clickhousewriter可以注释掉,不编译.