datax-web使用介绍

215 篇文章 8 订阅
24 篇文章 1 订阅

datax-web

在这里插入图片描述
路由策略:当执行器集群部署时,提供丰富的路由策略,包括;
FIRST(第一个):固定选择第一个机器;
LAST(最后一个):固定选择最后一个机器;
ROUND(轮询):;
RANDOM(随机):随机选择在线的机器;
CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。
LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举;
LEAST_RECENTLY_USED(最近最久未使用):最久为使用的机器优先被选举;
FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;
BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;

新建任务流程

4.1 step1: 新增数据源

首先需要新增本地的MySQL和SQLServer数据源:
在这里插入图片描述

新增完成后:

在这里插入图片描述

4.2 step2: 新增任务模板

新增DataX任务模板,我这里新增了一个每30秒执行一次的任务:
在这里插入图片描述
新增完成:
在这里插入图片描述

4.3 step3: 任务构建

新增完任务了,那么现在就到了核心的事情了,就是任务的构建,即可以简单理解为配置DataX能识别的json配置。

从下图可以看到有4个步骤来构建任务,按照提示一步一步来:
在这里插入图片描述
①构建reader:
在这里插入图片描述
②构建writer:
在这里插入图片描述
③ 字段映射:
在这里插入图片描述
④ 构建任务(构建->选择模板->下一步)

在这里插入图片描述

⑤ 启动任务
在这里插入图片描述

4.4 step4: 查看任务

启动完成后,在日志管理模块,可以看到任务的执行结果:
在这里插入图片描述
在这里插入图片描述

在SQLServer目标源,可以看到同步成功结果:
在这里插入图片描述

datax-web是一个用于数据同步的工具,下面是使用教程的步骤: 1. 首先,你需要安装和部署datax-web。你可以参考\[1\]中的链接,里面提供了详细的安装和部署文档。 2. 在安装和部署完成后,你需要创建一个数据库用于datax-web。你可以使用以下代码来创建数据库: ``` DROP DATABASE IF EXISTS datax_web; CREATE DATABASE datax_web DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; USE datax_web; ``` 这段代码会先删除已存在的datax_web数据库,然后创建一个新的数据库,并将字符集设置为utf8。\[2\] 3. 接下来,你可以开始配置datax-web。根据你的需求,你可以配置数据源和目标源。这样,你就可以在datax-web中进行数据同步操作了。\[3\] 希望这些步骤对你有帮助!如果你需要更详细的教程,可以参考\[1\]中提供的链接。 #### 引用[.reference_title] - *1* *3* [分布式数据同步工具之DataX-Web部署使用](https://blog.csdn.net/u011598442/article/details/125966880)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Datax-web入门配置与启动](https://blog.csdn.net/weixin_45740811/article/details/125651613)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值