kettle增量抽数

一、背景:

1.业务系统无时间戳字段；2.业务系统到项目组服务器之间的网络带宽太慢，一次只能抽几十条数据（几十个字段的表）；3.业务系统更新数据为直接更新，无更新标识字段，所幸有ModifyTime字段。

二、措施：

 

表输入：业务系统输入，只抽取两个字段，抽取速度可达10000条/秒
 表输入2：从抽过来的数据中找到最新的修改时间

字段比对：

过滤记录：保留增、改数据

 

 插入增、改数据

 

业务系统数据删数据，在抽取过来的数据中添加删除标识