可视化工具Datax-web使用教程

已于 2024-04-15 20:27:18 修改
阅读量1.8k 收藏 19
点赞数 5
分类专栏： ETL工具 文章标签： java 大数据
于 2024-04-15 19:55:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiao_ying_bo_ke/article/details/136656891
版权
本文详细介绍了Datax-web的使用，包括执行器配置（如AppName、名称和排序）、数据源管理、创建项目、任务模板的创建以及如何构建json脚本，重点展示了数据同步过程中的关键步骤和配置选项。
摘要由CSDN通过智能技术生成

文章目录

一、序言

前面我们已经介绍了Datax-web的安装，这里我将介绍一下datax-web这款可视化工具的使用。

二、使用教程

1、执行器配置

在这里插入图片描述
在这里插入图片描述

1、AppName: （与datax-executor中application.yml的datax.job.executor.appname保持一致）
每个执行器集群的唯一标示AppName, 执行器会周期性以AppName为对象进行自动注册。可通过该配置自动发现注册成功的执行器, 供任务调度时使用;
2、名称: 执行器的名称, 因为AppName限制字母数字等组成,可读性不强, 名称为了提高执行器的可读性;
3、排序: 执行器的排序, 系统中需要执行器的地方,如任务新增, 将会按照该排序读取可用的执行器列表;
4、注册方式：调度中心获取执行器地址的方式；
自动注册：执行器自动进行执行器注册，调度中心通过底层注册表可以动态发现执行器机器地址；
手动录入：人工手动录入执行器的地址信息，多地址逗号分隔，供调度中心使用；
5、机器地址："注册方式"为"手动录入"时有效，支持人工维护执行器的地址信息；

2、数据源管理

选择左侧菜单栏数据源管理，点击页面上的添加
在这里插入图片描述
在这里插入图片描述

3、创建项目

  1. 选择左侧菜单栏项目管理，添加项目
    在这里插入图片描述
  2. 点击添加
    在这里插入图片描述

4、创建任务模板

  1. 点击左侧任务管理菜单栏，选择Datax任务管理模板
    在这里插入图片描述
  2. 点击添加按钮
    在这里插入图片描述

5、构建json脚本

1.左侧任务管理菜单栏下，有单个任务构建和批量任务构建，大家结合自己的实际情况选择，这里我以单个任务为例
在这里插入图片描述
3. 选择源数据库和表结构，或者直接使用sql语句，构建reader
在这里插入图片描述 在这里插入图片描述
4. 构建writer
在这里插入图片描述
5. 字段映射，要做映射的字段，源端字段与目标字段要一一对应，顺序要一致，否则最终构建出来的JSON脚本有问题
在这里插入图片描述
6. 点击下一步
在这里插入图片描述
7. 点击构建
在这里插入图片描述
8. 选择模板，构建执行任务，选择右侧的模板，点击下一步，任务列表会增加一条任务
在这里插入图片描述
9. 查看任务列表
在这里插入图片描述

  1. 可以手动执行，可以查看日志执行日志，点击日志查询，可查看任务节点进度
  2. 增量参数配置，可以增量同步数据，可以根据时间或者主键id
    在这里插入图片描述
    参考链接
火炎焱小码哥
关注
  • 5
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
数据同步工具datax-web可视化工具
05-09
数据同步工具datax-web可视化工具，可实现跨数据库数据同步，项目实际使用实践请大家放心下载。
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改
DataX-Web部署和使用
qq_60275529的博客
05-18 1411
目录一、准备（一）一台centos 7主机、连网（二）关闭防火墙二、jdk安装配置（一）将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压（二）配置环境变量，在profile最后面添加（三）让配置生效（四）查看java版本，执行下面命令出现jdk版本即安装成功三、mysql5.7安装配置（一）查找已经安装的mysql安装包（二）CentOS7下还需要查找是否存在mariadb包：（三）上述两步骤如果查出了mysql则需要将对应的文件删除（四）MySQL 安装会通过 MySQL 用户在 /t
DataxWeb安装部署及使用--真香警告
qq_34905631的博客
11-02 2992
DataXDataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
基于 Ajax的 ETL 工具分析与 web 实现
07-22
通过学习jquery框架 利用ajax技术实现了一个web的 ETL 工具 后台分析程序利用了 kettle的 后台函数
datax-web:DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等
05-11
DataX-Web DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。 任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。 Architecture diagram： System Requirements Language:
DataX从入门实战到精通一文搞定
prefect_start的博客
08-14 4022
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。Oracle Database，又名 Oracle RDBMS，或简称 Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说 Oracle 数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。.
DataX Web介绍及安装（DataX可视化界面）
学亮编程手记
02-18 1431
同一个执行器集群内AppName（executor.appname）需要保持一致；调度中心根据该配置动态发现不同集群的在线执行器列表。可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}执行器回调地址(admin.addresses）需要保持一致；admin启动成功后日志会输出三个地址，两个接口文档地址，一个前端页面地址。启动成功后打开页面（默认管理员用户名：admin 密码：123456）修改邮件发送配置(不需要可以不修改)
【工具】之DataX-Web简单介绍
chimchim66的博客
08-19 8153
【工具】之DataX-Web简单介绍
【转】dataX简介
hero_xsx的博客
10-29 664
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
数据同步工具—DataX—Web部署使用
张伟的专栏
02-06 5640
这一节主要部署了DataX—Web ，DataX—Web 主要解决了DataX的任务管理、运维的问题，而且有自己的调度，但是在整个数仓中却难以使用，因为我们无法将DataX—Web 和已有的调度系统进行整合。所以比较好的方式是在我们的调度系统中去集成DataX—Web，那这个时候只有任务构建这个模块是我们需要的，其他的监控、数据源管理调度系统已经有了，所以这个东西应用场景有限，只能作为一个参考。
DataX Web分布式数据同步工具 v2.1.2.zip
03-18
在压缩包中，"说明.htm"文件可能包含了DataX Web的使用指南和安装教程，详细解释了如何部署和操作这个系统。而"datax-web"目录则包含了整个项目的源代码，包括服务端和前端部分，用户可以深入研究其架构设计、业务...
DataX集成可视化页面，选择数据源即可一键生成数据同步任务
08-03
在这个项目中，“DataX集成可视化页面，选择数据源即可一键生成数据同步任务”意味着DataX已经被整合到一个可视化的Web系统中，用户可以通过直观的界面来配置和执行数据同步任务，而无需手动编写复杂的配置文件。...
DataX3.0+DataX-Web部署分布式可视化ETL系统
zxz547388910的博客
02-02 2504
DataX 是阿里云 DataWorks 数据集成的开源版本，主要就是用于实现数据间的离线同步。DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。
datax图形化界面datax-web安装及使用
最新发布
v15220的博客
06-15 1428
环境准备：需要先安装git和mavengit安装可参考maven只需解压安装包，配置环境变量即可使用。
Datax可视化工具Datax-web安装部署
xiao_ying_bo_ke的博客
04-15 2666
Datax web 可视化工具安装使用
Datax入门使用
qq_44134480的博客
04-23 9782
DataX入门使用 一、简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Datax将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件
datax-web使用介绍
hzp666的博客
10-24 2723
CONSISTENT_HASH（一致性HASH）：每个任务按照Hash算法固定选择某一台机器，且所有任务均匀散列在不同机器上。FAILOVER（故障转移）：按照顺序依次进行心跳检测，第一个心跳检测成功的机器选定为目标执行器并发起调度；BUSYOVER（忙碌转移）：按照顺序依次进行空闲检测，第一个空闲检测成功的机器选定为目标执行器并发起调度；LEAST_RECENTLY_USED（最近最久未使用）：最久为使用的机器优先被选举；FIRST（第一个）：固定选择第一个机器；ROUND（轮询）：；
本地DataXWeb代码发布至Linux
weixin_44411398的博客
05-14 759
本地DataXWeb代码发布至Linux 有时候会对DataXWeb进行更改，或者是二次开发，但是网上较少用本地的代码打包发布记录，这里记录下。 文章目录本地DataXWeb代码发布至Linux一、环境准备1）Linux基础软件安装2 ) DataX Web安装包准备二、开始部署1）解压安装包2）执行一键安装脚本3）数据库初始化4 ) 配置5）启动服务6）查看服务（注意！注意！）7）运行 一、环境准备 1）Linux基础软件安装 MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装m
datax-web使用教程
07-28
datax-web是一个用于数据同步的工具，下面是使用教程的步骤： 1. 首先，你需要安装和部署datax-web。你可以参考\[1\]中的链接，里面提供了详细的安装和部署文档。 2. 在安装和部署完成后，你需要创建一个数据库用于datax-web。你可以使用以下代码来创建数据库： ``` DROP DATABASE IF EXISTS datax_web; CREATE DATABASE datax_web DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; USE datax_web; ``` 这段代码会先删除已存在的datax_web数据库，然后创建一个新的数据库，并将字符集设置为utf8。\[2\] 3. 接下来，你可以开始配置datax-web。根据你的需求，你可以配置数据源和目标源。这样，你就可以在datax-web中进行数据同步操作了。\[3\] 希望这些步骤对你有帮助！如果你需要更详细的教程，可以参考\[1\]中提供的链接。 #### 引用[.reference_title] - *1* *3* [分布式数据同步工具之DataX-Web部署使用](https://blog.csdn.net/u011598442/article/details/125966880)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Datax-web入门配置与启动](https://blog.csdn.net/weixin_45740811/article/details/125651613)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值