DataX3.0
DataX
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、PostgreSQL、HDFS、Hive、HBase等各种异构数据源之间高效的数据同步功能。
环境
- Linux;
- JDK 1.8;
- Python 2.7.5;
- Apache Maven 3.5.3;
下载DataX工具包(解压后直接使用):http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
DataX使用步骤
生成json格式文件test.json,文件格式如下:
{
"job": {
"setting": {
"speed": {
"channel": 1
},
"errorLimit": {
"percentage": 0//容错量
}
},
"content": [{
"reader": {
"name": "sqlserverreader",//名称固定,以数据库类型加reader后缀组成
"parameter": {
"username": "sa",
"password"