datax3.0oracle使用实例,DataX3.0配置过程

配置过程以及插件配置

官方提供的配置需求：本例使用了JDK1.8 Python使用了CentOS预装的版本。

System Requirements：

Linux、Windows

JDK(1.6以上，推荐1.6)

Python(推荐Python2.6.X)

Apache Maven 3.x (Compile DataX)

2、配置Maven

本文使用apache-maven-3.3.9版本

安装过程：解压maven的tar包，配置环境变量、

export M3_HOME=/usr/local/apache-maven-3.3.9

export PATH=$PATH:$M3_HOME/bin

在终端中输入mvn -v 确认是否安装成功。

3、配置git

1)先更新一下开发工具，命令：yum  groupinstall "Development Tools"

2)安装一些其他的依赖包：

sudo yum install gettext-devel openssl-devel perl-CPAN perl-devel zlib-devel

5)tar xvf v2.3.0.tar.gz 解压下载的tar包

6)进入git目录，运行make install 命令

报错：找不到 curl.h expat.h

运行 yum  install curl-devel

yum  install expat-devel

安装相应的开发包。

7)配置SSH Key 用于从github上获取源码

4、获取datax3.0的源码

git clone https://github.com/alibaba/DataX

5、配置DataX源码根目录中pom.xml

删除pom.xml中的不需要的reader和writer插件模块。

本例保留的模块如下mysqlreader、mysqlwriter、hdfsreader、hdfswriter  (streamreader、streamwriter为运行样例所需的，建议保留)：

mysqlreader

hdfsreader

streamreader

mysqlwriter

hdfswriter

streamwriter

plugin-rdbms-util

plugin-unstructured-storage-util

6、 修改插件模块文件夹中的pom.xml中版本。

1)mysqlreader和mysqlwriter中的mysql-connector-java的5.1.34可以保留。

2)本例将hdfsreader和hdfswriter中的hive.version和hadoop.version更换为此前安装的2.1.0版本号和2.7.2版本号。

如图：

7、 打开终端，进入DataX源码根目录

输入如下命令打包：

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功结果如下：

8、 可在DataX源码根目录下找到target文件夹，其中有打包好的目录结构与压缩包。

解压打包好的datax至本地某个目录，修改权限为755，进入bin目录，即可运行样例同步作业：

$ tar zxvf datax.tar.gz

$ sudo chmod -R 755 {YOUR_DATAX_HOME}

$ cd {YOUR_DATAX_HOME}/bin

$ python datax.py ../job/job.json

运行样例作业成功结果：