解决datax-web任务执行时脏数据的问题

问题描述

在使用DataX或者DataX-Web进行数据同步时,经常会遇到传输过程中日志显示传输遇到脏数据,脏数据限制为0条的问题。

解决方法

1、在自己编写的json文件或DataX-Web自动生成的json文件中找到channel->speed->record,在这里可以修改传输过程中运行脏数据的条数。

2、在自己编写的json文件或DataX-Web自动生成的json文件中,将所有int/bigint类型改为long类型即可。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DataX是一个开源的数据同步工具,主要用于在不同数据源之间高效地传输大量数据。DataX-webDataXWeb版控制台,它提供了一个用户友好的界面来管理和监控DataX任务执行。 要连接DataXDataX-web,你需要按照以下步骤操作: 1. **安装DataX**:首先,确保你已经在本地或服务器上安装了DataX。你可以从DataX的GitHub仓库下载并按照官方文档进行安装。 2. **配置DataX任务**:使用命令行工具创建DataX任务配置文件(如:job.yaml),指定源和目标数据库、表名、字段等信息。在配置中,可能需要设置一些连接参数,如用户名、密码、URL等。 3. **运行DataX任务**:使用DataX的命令行工具(如`java -jar datax-*.jar job job.yaml`)启动任务DataX会根据配置文件执行数据同步操作。 4. **启动DataX-web**:在DataX-web的安装目录下运行web服务器,例如`cd datax-web && ./bin/start.sh`(假设你在Linux环境下)。这将启动一个本地HTTP服务器,提供DataX-web的界面。 5. **访问DataX-web**:在浏览器中输入`http://localhost:8080`(默认端口),你将看到DataX-web的登录页面。如果你之前没有设置过用户,通常可以使用默认的管理员账户(用户名:admin,密码:admin)登录。 6. **添加、编辑和查看任务**:登录后,可以在DataX-web的界面中添加新的任务配置,编辑现有的任务,以及查看任务执行状态和日志。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值