目录
-
DATAX简介:
DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。
-
DATAX下载:
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
-
DATAX 安装:
下载后解压至本地某个目录如/usr/local/datax,进入bin目录,即可运行同步作业:
$ rm -rf /usr/local/datax/plugin/*/._* ##先删除异常文件,否则报错
$ cd /usr/local/datax/bin
$ python datax.py {YOUR_JOB.json}
自检脚本:
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json
参考:https://github.com/alibaba/DataX/blob/master/userGuid.md
-
编写同步Job
参考DataX/oraclereader.md at master · alibaba/DataX · GitHub
-
配置crontab定时任务执行
编写同步脚本oracle2mysqlday.sh:
oracle2mysqlday.sh内容如下:
#!/bin/bash
source /etc/profile
/usr/bin/python /usr/local/datax/bin/datax.py /usr/local/datax/job/oracle2mysqljob1.json
/usr/bin/python /usr/local/datax/bin/datax.py /usr/local/datax/job/oracle2mysqljob2.json
打开crontab列表
crontab -e
添加以下命令到crontab定时任务列表
#每天凌晨0点40分执行:
40 0 * * * /usr/local/datax/bin/oracle2mysqlday.sh > /usr/local/datax/log/oracle2mysqlday.log 2>&1