datax_web的搭建
datax的部署
-
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
-
环境准备:
JDK(1.8以上,推荐1.8)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX) -
github下载地址:https://github.com/alibaba/DataX
-
快速搭建datax,下载时使用
下载时使用方式一
-
下载python
下载地址:https://www.python.org/download/releases/2.7/
此处的python选择2.7(3的版本未尝试),下载完后安装python -
解压datax的压缩包,执行bin中datax.py
python datax.py
datax_web的安装部署
-
DataX阿里的开源的时候并未提供任何可视化界面,我们在使用的过程中,需要将Json配置文件放到DataX的job路径下,随着业务的增加,配置文件不方便管理和迁移并且每次执行都需要记录命令。 目前DataX只支持单机版,多节点之间的协作不能控制,我们希望能有一款有友好的可视化界面,支持定时任务,支持分布式的数据同步利器,这也是该项目的目标。
-
github下载地址:https://github.com/WeiYe-Jing/datax-web
-
将下载下来的项目导入,eclipse或者idea
如图,该项目主要分为5个部分,主要的是要启动datax-admin和datax-executor
导入的时候可能有报错,大部分问题都是maven包没有下载全
(建议导入之后先在项目的主目录下使用 mvn install,这样基本上所有的依赖包都会install好)
注: 项目中存在lombok包,如果没有下载该插件,需要补全log和类中缺少的set/get方法。
-
执行数据库文件data_web.sql
-
修改配置文件
(1)修改datax-admin中的数据源配置
(2)修改datax.py的地址
将路径改成之前安装的datax的目录下面(简单来说,项目启动的时候会自动执行配置中datax.py)
先启动admin,再启动executor -
下载前端项目
gitlub地址:https://github.com/WeiYe-Jing/datax-vue-admin
将项目导入vscode -
启动前端项目
npm install
npm run dev
访问地址:http://localhost:8082/
账号:admin
密码:123456
注:前端项目install可能会出现node-sass安装失败的问题
解决方案: 由于访问外网较慢,改为国内镜像,(对vue很熟悉的可忽略)先执行
npm install -g mirror-config-china --registry=http://registry.npm.taobao.org
再执行
npm install sass-loader node-sass -D