datax_web搭建

最新推荐文章于 2024-08-08 07:36:35 发布

qq_33752493

最新推荐文章于 2024-08-08 07:36:35 发布

阅读量4k

点赞数 5

文章标签： java vue.js

本文链接：https://blog.csdn.net/qq_33752493/article/details/104649953

版权

datax_web的搭建

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
环境准备：
JDK(1.8以上，推荐1.8)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)
github下载地址：https://github.com/alibaba/DataX
快速搭建datax，下载时使用

下载时使用方式一
下载python
下载地址：https://www.python.org/download/releases/2.7/
此处的python选择2.7（3的版本未尝试），下载完后安装python
解压datax的压缩包，执行bin中datax.py

python datax.py

DataX阿里的开源的时候并未提供任何可视化界面，我们在使用的过程中，需要将Json配置文件放到DataX的job路径下，随着业务的增加，配置文件不方便管理和迁移并且每次执行都需要记录命令。目前DataX只支持单机版，多节点之间的协作不能控制，我们希望能有一款有友好的可视化界面，支持定时任务,支持分布式的数据同步利器，这也是该项目的目标。
github下载地址：https://github.com/WeiYe-Jing/datax-web
将下载下来的项目导入，eclipse或者idea

如图，该项目主要分为5个部分，主要的是要启动datax-admin和datax-executor
导入的时候可能有报错，大部分问题都是maven包没有下载全
（建议导入之后先在项目的主目录下使用 mvn install，这样基本上所有的依赖包都会install好）
注：项目中存在lombok包，如果没有下载该插件，需要补全log和类中缺少的set/get方法。
执行数据库文件data_web.sql
修改配置文件
（1）修改datax-admin中的数据源配置

（2）修改datax.py的地址

将路径改成之前安装的datax的目录下面（简单来说，项目启动的时候会自动执行配置中datax.py）
先启动admin,再启动executor
下载前端项目
gitlub地址：https://github.com/WeiYe-Jing/datax-vue-admin
将项目导入vscode
启动前端项目

npm install

npm run dev

访问地址：http://localhost:8082/
账号：admin
密码：123456
出现如图说明部署成功

注：前端项目install可能会出现node-sass安装失败的问题
解决方案：由于访问外网较慢，改为国内镜像，（对vue很熟悉的可忽略）先执行

npm install -g mirror-config-china --registry=http://registry.npm.taobao.org

再执行

npm install sass-loader node-sass -D

关注