Datax-web安装
环境准备
- MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
- JDK(1.8.0_xxx)必选
- DataX 必选
- Python(2.x)(支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在后面有提供)
必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造
安装Datax
- 将datax.tar.gz上传至服务器,解压即可,命令如下:
tar -zxvf datax.tar.gz
- 1
安装Data-web
- 将datax-web-2.1.2.tar.gz上传至服务器后解压,命令如下
tar -zxvf datax-web-2.1.2.tar.gz
- 1
- 解压完成后,执行datax-web-2.1.2/bin/install.sh脚本,安装datax-web,如下图所示
执行上图红框中的install.sh脚本即可,命令如下所示
./datax-web-2.1.2/bin/install.sh
- 1
- 根据提示进行安装,安装时有两种情况
- 第一种:安装datax-web的服务器已经具备mysql的服务。以下代码中我将中间的日志信息省略掉,只保留的需要用户输入的信息,按照下图一步步进行即可
Do you want to decompress this package: [datax-admin_2.1.2_1.tar.gz]? (Y/N)Y
Do you want to decompress this package: [datax-executor_2.1.2_1.tar.gz]? (Y/N)Y
Do you want to confiugre and install [datax-admin]? (Y/N)Y
Do you want to initalize database with sql: [/opt/apps/datax-web-2.1.2/bin/db/datax_web.sql]? (Y/N)Y
Please input the db host(default: 127.0.0.1): localhost # mysql所在服务器的ip地址,默认是127.0.0.1,这里localhost填与不填没有任何意义,只作为举例
Please input the db port(default: 3306): 3306 # mysql端口默认3306,如果是3306可以直接点击enter键,如果不是输入对应端口号
Please input the db username(default: root): root # 默认msyql用户是root,根据实际情况填写
Please input the db password(default: ): 123456 # 输入mysql用户对应的密码
Please input the db name(default: dataxweb)dataxweb # 输入作为datax-web的系统数据库,默认为dataxweb
Do you want to confiugre and install [datax-executor]? (Y/N)Y
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
执行完上面步骤,datax-web的基础安装就完成了,安装过程图片如下所示
- 第二种,安装datax-web的服务器没有msyql服务,这个时候还是正常执行install.sh安装脚本,步骤按照第一种的情况往下执行就可以,不过因为当前服务器没有msyql的服务,所示在安装过程中,不会有下图中的提示
其他步骤同第一种情况相同,在安装完成后,可以通过配置文件自由配置所要连接的Mysql数据库,修改datax-web-2.1.2/modules/datax-admin/conf目录下的bootstrap.properties文件,在此文件中可以自由配置Mysql的连接,命令如下所示:
vi bootstrap.properties
# 配置文件中内容如下所示:
#Database
#DB_HOST=
#DB_PORT=
#DB_USERNAME=
#DB_PASSWORD=
#DB_DATABASE=
# 根据实际情况进行配置即可
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
配置完Mysql的数据库连接后,在mysql对应的数据库中执行datax-web-2.1.2/bin/db目录下的datax-web.sql脚本即可,执行完成后,会在该库中生成datax-web所需要的系统数据表。
- 安装完成后,还需要配置datax-web-2.1.2/modules/datax-executor/bin/env.properties 指定PYTHON_PATH的路径,命令如下:
vi env.properties
- 1
在配置文件中编辑内容如下;
## PYTHON脚本执行位置
PYTHON_PATH=/opt/apps/datax/bin/datax.py
- 1
- 2
- 3
data-web执行任务时需要依赖datax中的python脚本,所以上面步骤中先安装datax然后再安装datax-web。
启动datax-web
执行datax-web-2.1.2/bin目录下的start-all.sh命令即可,命令如下图所示
./start-all.sh
- 1
启动完成后,通过jps命令查看,服务器上是否存在data-web的服务,命令如下:
[root@lx01 bin]# jps
4741 DataXExecutorApplication
4478 DataXAdminApplication
4783 Jps
# 执行完jps命令后出现以上两个服务证明datax-web已经启动
- 1
- 2
- 3
- 4
- 5
启动完成后就可以通过页面进行访问了,默认端口号是9527,形式如:127.0.0.1:9527/index.html,进入页面后进行登录默认用户:admin,默认密码:1231456,如下图所示:
登录成功后,页面如下所示:
到这里datax-web的安装部署就完成了,后面就可进行正常使用了。
软件资源
- datax:datax下载,提取码:eaix
- datax-web:datax-web下载,提取码:pv7z
- python3替换文件:python3替换文件下载,提取码:0qtl