kettle 实现单表增量同步
实现增量同步整体分为三个步骤:(以mysql数据库为例,其他数据库同理,本人亲测可用,若有不足,欢迎留言指出)
1、获取上次同步时间。
2、查询上次同步时间以外的数据,并新增到目标库中。
3、记录本次同步时间,为下次同步使用。
一、获取上次同步时间
新建同步时间记录表,记录每次同步的时间和同步结果,建表sql如下:
CREATE TABLE `kg_log` (
`FD_OBJECTID` varchar(50) NOT NULL COMMENT '主键',
`tbsj` datetime DEFAULT NULL COMMENT '同步时间',
`bm` char(50) DEFAULT NULL COMMENT '表名',
`result` char(50) DEFAULT NULL COMMENT '同步结果 1代表成功',
PRIMARY KEY (`FD_OBJECTID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='同步时间记录表';
新建转换,命名为:1-获取上次同步时间,拖入表输入和设置变量,效果如下图: