DataX安装

DataX

7、安装

系统要求

• Linux JDK(1.8以上，推荐1.8)
• Python(推荐Python2.6.X)

7.1. 在Linux上安装Python3

• 安装依赖环境

输入命令：

[root@node01 ~]# yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel wget

• 进入/opt/yjx/文件目录下

[root@node01 yjx]# cd /opt/yjx/

• 下载python3

[root@node01 yjx]# wget https://www.python.org/ftp/python/3.7.1/Python-3.7.1.tgz

• 安装Python3
  • 安装在/usr/local/python3（具体安装位置看个人喜好）

[root@node01 yjx]# mkdir -p /usr/local/python3
[root@node01 yjx]# tar -zxvf Python-3.7.1.tgz
[root@node01 yjx]# rm -rf Python-3.7.1.tgz

• 进入解压后的目录，编译安装

//编译安装前需要安装编译器yum install gcc
[root@node01 yjx]# yum install gcc -y
//3.7版本之后需要一个新的包libffi-devel
[root@node01 yjx]# yum install libffi-devel -y
   
[root@node01 yjx]#  cd Python-3.7
[root@node01 Python-3.7]# ./configure --prefix=/usr/local/python3
//编译
[root@node01 python-3.7]# make
[root@node01 Python-3.7.1]# make install

• 配置Python3

[root@node01 ~]# /usr/local/python3/bin/python3.7

• 建立Python3和pip3的软链

[root@node01 yjx]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[root@node01 yjx]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

• 添加环境变量

[root@node01 ~]# vim /etc/profile

export PYTHON_HOME=/usr/local/python3
export PATH=$PATH:$PYTHON_HOME/bin

[root@node01 ~]# source /etc/profile

• 检查效果

[root@node01 ~]# python3 -V
[root@node01 ~]# pip3 -V

7.2. 安装DataX

直接下载DataX工具包：

• 下载上传解压

[root@node01 ~]# tar -zxvf datax.tar.gz 
[root@node01 ~]# rm -rf datax.tar.gz 
[root@node01 ~]# mv datax /opt/yjx

• 自检脚本：

  [root@node01 ~]# python /opt/yjx/datax/bin/datax.py /opt/yjx/datax/job/job.json
  

7.3. DataX-Web安装

• 环境准备

  1. 基础软件安装 MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快 速初始化数据库
  2. JDK (1.8.0_xxx) 必选 DataX 必选
  3. Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在 doc/datax-web/datax-python3下) 必选

• 下载上传解压

[root@node01 ~]# tar -zxvf datax-web-2.1.2.tar.gz
[root@node01 ~]# rm -rf datax-web-2.1.2.tar.gz
[root@node01 ~]# mv datax-web-2.1.2 /opt/yjx/

• 执行一键安装脚本

[root@node01 ~]# cd /opt/yjx/datax-web-2.1.2/bin
[root@node01 ~]# ./install.sh --force

• 数据库初始化

  • 如果你的服务上安装有mysql命令，在执行安装脚本的过程中则会出现以下提醒：

  • 

  • 按照提示输入数据库地址，端口号，用户名，密码以及数据库名称，大部分情况下即可快速完 成初始化。 如果服务上并没有安装mysql命令，则可以取用目录下/bin/db/datax-web.sql脚 本去手动执行，完成后修改相关配置文件

  • vim /opt/yjx/datax-web-2.1.2/modules/dataxadmin/conf/bootstrap.properties 
    
    #Database 
    DB_HOST=127.0.0.1 
    DB_PORT=3306 
    DB_USERNAME=root 
    DB_PASSWORD=123456 
    DB_DATABASE=dataxwe 
    按照具体情况配置对应的值即可。
    

• 修改application.yml文件

[root@node01 ~]# vim /opt/yjx/datax-web-2.1.2/modules/dataxexecutor/conf/application.yml

#修改datax.py地址
#pypath: F:\tools\datax\bin\datax.py
pypath: /opt/yjx/datax/bin/datax.py

• 安装完成之后，启动服务
  1. 一键启动所有服务 ./bin/start-all.sh
  2. 一键取消所有服务 ./bin/stop-all.sh
• 查看服务（注意！注意！）
  1. 在Linux环境下使用JPS命令，查看是否出现DataXAdminApplication和 DataXExecutorApplication进程，如果存在这表示项目运行成功
  2. 如果项目启动失败，请检查启动日志：modules/datax-admin/bin/console.out或者 modules/datax-executor/bin/console.out
  3. Tips: 脚本使用的都是bash指令集，如若使用sh调用脚本，可能会有未知的错误
• 运行
  1. 部署完成后，在浏览器中输入 http://node01:9527/index.html 就可以访问对应的主界面
  2. 输入用户名 admin 密码 123456 就可以直接访问系统

8、DataX使用

8.1. 官方案例演示

 cd /opt/yjx/datax/bin
 python datax.py /opt/yjx/datax/job/job.json

• 启动格式

$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}