Centos7.9通过datax-web2.0_用Datax3.0进行增量同步_增量删除_数据更新---大数据之DataX工作笔记006

 1.注意这里的增量同步,不像之前用的DBsyncer或者是,NIFI中的利用binlog的形式,实现真正的实时的数据同步.

 2.这里的增量是,指定通过ID,或者时间来进行增量,比如大于2023-07-03 11:44:56的数据仅仅同步这个,或者是,id大于多少的这样,这里建议用时间,因为如果有id用的字符串咋弄来?

来看一下,如果是mysql的话,如何配置增量更新:

首先需要给,要同步的表添加一个字段:CREATE_TIME 如果是你要同步别人的表,比如到大数据平台,这样的话,不太好弄啊...别人不一定让你动...同样,开启binlog也不一定让用

alter table table1 add column `curr_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP  COMMENT '最后更新时间（DataX数据采集使用）';

给这个表添加一个叫create_time的字段,默认值是当前时间

alter table tableName add column `createTime` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间';
alter table tableName add column `moditiy_time` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP  COMMENT '更新时间';

然后开启自动更新,字段

这两个sql,我们来看一下,首先: