1、下载压缩包
下载页面地址:https://github.com/alibaba/DataX
不要在【Clone or download】处下载,那里下载的是源码;自行编译显得有点困难。
而是在:【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名:datax.tar.gz。解压后{datax}目录下有{bin conf job lib log log_perf plugin script tmp}几个目录。
2、安装
将下载后的压缩包直接解压后可用,前提是对应的java及python环境满足要求。
System Requirements:
Linux
JDK(1.6以上,推荐1.6)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)
3、参考文档
具体安装部署及使用文档可以参考【Quick Start】部分。
json文档配置可以参考[Support Data Channels]里各接口读写配置说明。
其他的一些说明也可以在此文档中能够找到。
4、运行作业
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
5、编写作业文件
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "langt3333",
"column": ["*"],
"splitPk": "id",
"connection": [
{
"table": [
"diag_8"
],
"jdbcUrl": [
"jdbc:mysql://192.168.2.1***:3306/diagbot?useUnicode=true&characterEncoding=utf8"
]
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"username": "root",
"password": "diagbo333",
"column": [
"*"
],
"session": [
"set session sql_mode='ANSI'"
],
"preSql": [
"truncate diag_8"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://192.168.2.**:3306/diagbot11?useUnicode=true&characterEncoding=utf8",
"table": [
"diag_8"
]
}
]
}
}
}
],
"setting": {
"speed": {
"channel": 5
}
}
}
}
6、运行作业文件:
python datax.py ../job/diag.json