kettle 插入更新 数据增量_kettle-2（实现增量更新-插入&更新）

？由来：需要将一个系统的数据(MySQL)抽取到另一个系统(Oracle)，使用ETL方式。随着数据量的增加，全量同步数据不可行，所以得做增量更新。业务数据表有主键，除了新增外，以前同步的数据非主键信息可能会发生更改。

1.看了下网上的思路，有一种是这样的(A代表表名)：一句话概括-通过主键对比找到新增行-同步数据。

①select max(id) from mysql.A；===>>>找出MySQL中的最大ID；

②select * from oralce.A where a.id > ?；===>>>?代表①的max(id)，找出oracle中比MySQL.max(id)大的ID；

③insert into mysql.A value = ②；===>>>将②中数据插入mysql；

第一步没什么滑头，第二步如下：

第三步如下：

*上述方法没有问题，但是在初始化的时候行不通，原因是步骤①-mysql.A中没数据时，即max(id)=null，导致带入第 ②步的and条件的id > null ,即varchar > null,数据不会写到MySQL，当MySQL中有一条符合条件的ID时，是可行的。

2.在转换中新增的“插入/更新”时其实已经包含了两个动作-插入和更新，所以可以去掉1中的比较结果集步骤：

①找出oracle.A中的所有符合条件的数据；

②将上一步找到的数据通过ID字段和MySQL中的对比，做出更新动作；

*这里的更新包含2层含义：

*更新：如果ID = ID，ID字段不更新，其他字段更新，即ID更新=N，其他字段更新=Y；

*新增：如果ID != ID，在以上范围外，新增；

*可以先同步三条数据到mysql.A；然后再在oracle.A中增加一条数据，修改一条数据的非ID字段，执行下看下效果。

3.补充说明：若删除了oracle.A中已同步到mysql.A的数据时，执行操作后不会影响mysql.A中的这条数据。