CentOS7安装datax、datax-web

最新推荐文章于 2024-06-26 10:39:45 发布

憨憨王大帅

最新推荐文章于 2024-06-26 10:39:45 发布

阅读量1.8k

点赞数 1

分类专栏：运维部署文章标签： java centos github 服务器 etl

本文链接：https://blog.csdn.net/superman_wang/article/details/117440036

版权

运维部署专栏收录该内容

8 篇文章 1 订阅

订阅专栏

参考官方文档

https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md

一、前置条件

MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库
JDK (1.8.0_xxx) 必选
Maven (3.6.1+) 必选
DataX 必选
Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行DataX，用户可以选择以Python方式来做自定义的改造

二、安装datax

1.下载datax并解压

[root@les opt]# wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
[root@les opt]# tar -xf datax.tar.gz -C /opt/

2.调试

[root@les bin]# python /opt/datax/bin/datax.py /opt/datax/job/job.json
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
......
......
2021-06-01 11:51:07.131 [job-0] INFO JobContainer - DataX jobId [0] completed successfully.

三、安装datax-web

1.下载源码并编译

[root@les src]# git clone https://github.com/WeiYe-Jing/datax-web.git
[root@les src]# cd datax-web/
[root@les datax-web]# mvn clean install

2.解压打包文件

[root@les build]# mv /opt/src/datax-web/build/datax-web-2.1.2.tar.gz /opt
[root@les build]# cd /opt
[root@les opt]# tar -zxvf datax-web-2.1.2.tar.gz

3.执行一键安装脚本

[root@les opt]# sh /opt/datax-web/bin/install.sh
2021-06-01 13:47:12.082 [INFO] (13391) Creating directory: [/opt/datax-web/bin/../modules].
Do you want to decompress this package: [datax-admin_2.1.2_1.tar.gz]? (Y/N)y
Do you want to decompress this package: [datax-executor_2.1.2_1.tar.gz]? (Y/N)y
Do you want to confiugre and install [datax-admin]? (Y/N)y
Do you want to initalize database with sql: [/opt/datax-web/bin/db/datax_web.sql]? (Y/N)y
Please input the db host(default: 127.0.0.1): 127.0.0.1
Please input the db port(default: 3306): 3306
Please input the db username(default: root): root
Please input the db password(default: ): 123456
Please input the db name(default: dataxweb)dataxweb
Do you want to confiugre and install [datax-executor]? (Y/N)y
2021-06-01 13:48:28.920 [INFO] (13391) ####### Finish To Install Modules ######

4. 根据需要修改数据库配置

[root@les datax-web]# vi /opt/datax-web/modules/datax-admin/conf/bootstrap.properties
[root@les datax-web]# cat /opt/datax-web/modules/datax-admin/conf/bootstrap.properties
#Database
DB_HOST=127.0.0.1
DB_PORT=3306
DB_USERNAME=root
DB_PASSWORD=123456
DB_DATABASE=dataxweb

5.其他应用配置

[root@les datax-web]# vi /opt/datax-web/modules/datax-admin/bin/env.properties
例如：
配置邮件服务(可跳过)
MAIL_USERNAME=""
MAIL_PASSWORD=""
[root@les datax-web]# vi /opt/datax-web/modules/datax-executor/bin/env.properties
例如：
### 执行datax的python脚本地址
PYTHON_PATH=/opt/datax/bin/datax.py
### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略
DATAX_ADMIN_PORT=

6.启停服务

（1）一键启动所有服务
[root@les datax-web]# sh /opt/datax-web/bin/start-all.sh
2021-06-01 14:13:07.941 [INFO] (14824) ####### Begin To Start Module: [datax-admin] ######
2021-06-01 14:13:08.604 [INFO] (14832) DATAX-ADMIN start success
2021-06-01 14:13:08.664 [INFO] (15027) ####### Begin To Start Module: [datax-executor] ######
2021-06-01 14:13:10.721 [INFO] (15035) DATAX-EXEXUTOR start success
（2）一键停止所有服务
[root@les datax-web]# sh /opt/datax-web/bin/stop-all.sh
2021-06-01 14:14:07.226 [INFO] (15438) ####### Begin To Stop Module: [datax-admin] ######
2021-06-01 14:14:09.976 [INFO] (15446) DATAX-ADMIN stop success
2021-06-01 14:14:09.980 [INFO] (15656) ####### Begin To Stop Module: [datax-executor] ######
2021-06-01 14:14:12.578 [INFO] (15664) DATAX-EXEXUTOR stop success