问题描述
在使用DataX或者DataX-Web进行数据同步时,经常会遇到传输过程中日志显示传输遇到脏数据,脏数据限制为0条的问题。
解决方法
1、在自己编写的json文件或DataX-Web自动生成的json文件中找到channel->speed->record,在这里可以修改传输过程中运行脏数据的条数。
2、在自己编写的json文件或DataX-Web自动生成的json文件中,将所有int/bigint类型改为long类型即可。
在使用DataX或者DataX-Web进行数据同步时,经常会遇到传输过程中日志显示传输遇到脏数据,脏数据限制为0条的问题。
1、在自己编写的json文件或DataX-Web自动生成的json文件中找到channel->speed->record,在这里可以修改传输过程中运行脏数据的条数。
2、在自己编写的json文件或DataX-Web自动生成的json文件中,将所有int/bigint类型改为long类型即可。