CentOS7安装DataX
下载DataX压缩包
(1)通过以下地址,直接下载编译后的压缩包
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
(2)将datax.tar.gz压缩包上传至服务器opt目录下
运行DataX
(1)解压datax.tar.gz
tar -zxvf datax.tar.gz
(2)运行DataX
python /opt/datax/bin/datax.py /opt/datax/job/job.json
(3)配置DataX任务
通过编辑/opt/datax/job/job.json文件进行配置任务。
搭建DataX的可视化界面
编译打包
(1)下载DataX-Web
登录github下载源码,如果服务器可以直接访问互联网的,可执行以下命令进行下载
git clone https://github.com/WeiYe-Jing/datax-web.git
如果服务器无法访问互联网,用浏览器打开链接,下载在本地再上传至服务器。
(2)编译打包
进入datax-web根目录下执行如下命令(在执行以下命令时,服务器需要安装maven)。
mvn clean install
执行成功后将会在工程的build目录下生成安装包
安装部署
(1)解压安装包
在选定的安装目录,解压安装包
tar -zxvf datax-web-2.1.2.tar.gz
(2)执行一键安装脚本
进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行
./bin/install.sh
在交互模式下,对各个模块的package压缩包的解压以及configure配置脚本的调用,都会请求用户确认,可根据提示查看是否安装成功,如果没有安装成功,可以重复尝试; 如果不想使用交互模式,跳过确认过程,则执行以下命令安装
./bin/install.sh --force
(3)数据库初始化
登上mysql数据库服务器,创建datax-web数据库,并执行./bin/db/datax_web.sql文件
配置数据库连接信息
vim ./modules/datax-admin/conf/bootstrap.properties
(4)配置
在项目目录下/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径
(5)启动服务
一键启动所有服务
./bin/start-all.sh
中途可能发生部分模块启动失败或者卡住,可以退出重复执行,如果需要改变某一模块服务端口号,则:
vi ./modules/{module_name}/bin/env.properties
找到SERVER_PORT配置项,改变它的值即可。 当然也可以单一地启动某一模块服务
./bin/start.sh -m {module_name}
一键取消所有服务
./bin/stop-all.sh
当然也可以单一地停止某一模块服务:
./bin/stop.sh -m {module_name}
(6)运行
部署完成后,在浏览器中输入 http://ip:port/index.html (默认端口9527)就可以访问对应的主界面(ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口)
输入用户名 admin 密码 123456 就可以直接访问系统