本地安装Datax可视化页面

已于 2022-02-20 20:16:32 修改
阅读量1.1k 收藏
点赞数 1
文章标签： maven intellij-idea java
于 2022-01-18 14:35:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dimtem/article/details/122559518
版权
本文介绍了如何在Windows环境下安装Datax Web，涉及JDK1.8、Python3.7、MySQL5.7和Maven3.39的环境准备，使用IntelliJ IDEA和PyCharm作为工具。首先，通过Maven导入datax-web项目到IDEA，接着执行SQL文件，然后配置application.yml文件，最后按照顺序启动datax-admin和datax-executor，访问localhost的指定端口进行登录。
摘要由CSDN通过智能技术生成

本地安装Datax可视化页面

本文仅为我在win运行

需要准备的环境：JDK1.8，python3.7，mysql5.7，maven3.39（maven版本可以不一致）
工具：pycharm2020，idea2019
代码：https://gitee.com/WeiYe-Jing/datax-web?_from=gitee_search

1.将下载好的datax-web项目，通过maven导入到idea中

2.通过mysql执行SQL文件

3.修改datax-admin下resource中的applicationn.yml配置文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.修改datax-executor的resource下的application.yml配置文件
在这里插入图片描述

在这里插入图片描述
5.先运行datax-admin，再启动datax-executor

6.浏览器输入http://localhost:admin端口号
http://127.0.0.1:8888/index.html#/login
用户名：admin 密码：123456

最低0.47元/天 解锁文章
傻瓜先生DIM
关注
datax同步分布式mysql_datax-web: DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面...
weixin_29596485的博客
02-01 1085
DataX-WebDataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。任务"执行器"支持集群部署...
java 可视化系统操作日志_DataX集成可视化操作，支持页面配置JSON脚本，手动触发执行，实时查看运行日志...
weixin_36487445的博客
02-27 1785
DataX-WebDataX阿里在开源的时候并未提供任何可视化界面，我们在使用的过程中，需要将Json配置文件放到DataX的job路径下，随着业务的增加，配置文件不方便管理和迁移并且每次执行都需要记录命令。 目前DataX只支持单机版，多节点之间的协作不能控制，我们希望能有一款有友好的可视化界面，支持定时任务,支持分布式的数据同步利器，这也是该项目的目标。System Requiremen...
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改
DataX--Web：图形化界面简化大数据任务管理
最新发布
天冬忘忧的博客
09-21 1355
DataX Web作为一个图形化工具，极大地简化了DataX数据同步任务的管理。它通过提供一个用户友好的界面，使得即使是非技术用户也能够轻松地配置和管理复杂的数据同步任务。随着大数据技术的不断发展，DataX Web有望成为大数据任务管理的重要工具。
搭建基于DataX的可视化界面
热门推荐
weixin_42786042的博客
03-19 1万+
一、内容简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。但是我们在使用的过程中，需要将Json配置文件放到DataX的job路径下，随着业务的增加，配...
DataX Web介绍及安装（DataX可视化界面）
学亮编程手记
02-18 1884
同一个执行器集群内AppName（executor.appname）需要保持一致；调度中心根据该配置动态发现不同集群的在线执行器列表。可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}执行器回调地址(admin.addresses）需要保持一致；admin启动成功后日志会输出三个地址，两个接口文档地址，一个前端页面地址。启动成功后打开页面（默认管理员用户名：admin 密码：123456）修改邮件发送配置(不需要可以不修改)
datax图形化界面datax-web安装及使用
v15220的博客
06-15 2131
环境准备：需要先安装git和mavengit安装可参考maven只需解压安装包，配置环境变量即可使用。
datax3.0的使用及datax-web可视化工具
lpping90的专栏
04-07 2353
datax3.0在linux下配置并部署datax-web可视化工具教程
datax 模板_datax-web: DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、...
weixin_39874881的博客
12-21 1116
DataX-WebDataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。任务"执行器"支持集群部署...
datax的udf_datax-web: DataX集成可视化页面，选择数据源一键生成JSON并脱敏，集成定时任务，支持分布式，支持增量获取，实时查看运行日志，监控执行器资源，kill运行进程。...
weixin_39638647的博客
01-17 1254
DataX-WebDataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。任务"执行器"支持集群部署...
本地虚拟机从零搭建部署datax-web
Stone.鱼儿的博客
12-30 2757
码云项目地址：datax-web: DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。 通过项目中的安装部署说明书：遇到很多坑，接下来我从头详细的记录我是如何搭建的和所遇到的坑解决方案。 datax-web部署方案 一、依赖资源 1、datax：datax-web的核心资源包 2、jdk 3、Maven（编译工具） 4、python（推荐.
datax-web:DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等
05-11
DataX-Web DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。 任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。 Architecture diagram： System Requirements Language:
数据同步工具datax-web可视化工具
05-09
数据同步工具datax-web可视化工具，可实现跨数据库数据同步，项目实际使用实践请大家放心下载。
DataX集成可视化页面，选择数据源即可一键生成数据同步任务
08-03
DataX集成可视化页面，选择数据源即可一键生成数据同步任务
异构数据源数据交换工具 DataX.zip
07-19
一. DataX3.0 概览　　DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。　　设计理念　　为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到 DataX，便能跟已有的数据源做到无缝数据同步。　　当前使用现状　　DataX 在阿里巴巴集团内被广泛使用，承担了所有大数据的离线同步业务，并已持续稳定运行了 6 年之久。目前每天完成同步 8w 多道作业，每日传输数据量超过 300TB。　　此前已经开源 DataX1.0 版本，此次介绍为阿里巴巴开源全新版本 DataX3.0，有了更多更强大的功能和更好的使用体验。Github 主页地址：https://github.com/alibaba/DataX。　　二、DataX3.0 框架设计　　DataX 本身作为离线数据同步框架，采用 Framework plugin 架构构建。将数据源读取和写入抽象成为 Reader/Writer 插件，纳入到整个同步框架中。　　Reader：Reader 为数据采集模块，负责采集数据源的数据，将数据发送给 Framework。　　Writer： Writer 为数据写入模块，负责不断向 Framework 取数据，并将数据写入到目的端。　　Framework：Framework 用于连接 reader 和 writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。　　三. DataX3.0 插件体系　　经过几年积累，DataX 目前已经有了比较全面的插件体系，主流的 RDBMS 数据库、NOSQL、大数据计算系统都已经接入。DataX 目前支持数据如下：　　DataX Framework 提供了简单的接口与插件交互，提供简单的插件接入机制，只需要任意加上一种插件，就能无缝对接其他数据源。详情请看：DataX 数据源指南　　四、DataX3.0 核心架构　　DataX 3.0 开源版本支持单机多线程模式完成同步作业运行，本小节按一个 DataX 作业生命周期的时序图，从整体架构设计非常简要说明 DataX 各个模块相互关系。　　核心模块介绍：　　DataX 完成单个数据同步的作业，我们称之为 Job，DataX 接受到一个 Job 之后，将启动一个进程来完成整个作业同步过程。DataX Job 模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子 Task)、TaskGroup 管理等功能。　　DataXJob 启动后，会根据不同的源端切分策略，将 Job 切分成多个小的 Task (子任务)，以便于并发执行。Task 便是 DataX 作业的最小单元，每一个 Task 都会负责一部分数据的同步工作。　　切分多个 Task 之后，DataX Job 会调用 Scheduler 模块，根据配置的并发数据量，将拆分成的 Task 重新组合，组装成 TaskGroup (任务组)。每一个 TaskGroup 负责以一定的并发运行完毕分配好的所有 Task，默认单个任务组的并发数量为5。　　每一个 Task 都由 TaskGroup 负责启动，Task 启动后，会固定启动 Reader>Channel>Writer 的线程来完成任务。 标签：数据同步
可视化工具Datax-web使用教程
xiao_ying_bo_ke的博客
04-15 2527
Datax web 使用教程
DataX3.0+DataX-Web部署分布式可视化ETL系统
zxz547388910的博客
02-02 3076
DataX 是阿里云 DataWorks 数据集成的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。
【转】dataX简介
hero_xsx的博客
10-29 760
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
DataX可视化页面实现一键式数据同步与批量RDBMS任务管理
DataX的集成可视化页面为用户提供了直观的操作界面，通过这个界面用户可以选择所需的数据源，并通过一键操作生成数据同步任务。这种设计大大减少了用户在编写复杂配置脚本或者命令上的时间，使得数据同步工作更加...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值