最开始接触kettle,很直白的一种数据更新方式是数据全量更新,使用最简单的两个工具,表输入、插入/更新(曾经天真的以为这就是随着数据源的变化做出相应变化,即数据的增加、修改、删除,后来发现增加、更新可以做到,删除并不能);
后来接触到另一种数据更新方式,会使用主键做KEY值对比,对比剩下的属性值,是否有变化,分别记录4种flgfield值)(new 、identical、changed、deleted),可以用Filter rows过滤不同的记录采取不同的操作,以下是我在实际项目当中的具体应用。
针对identical/changed/new可以采用上图中的插入更新,并且新增一个常量值给某个状态字段作为标识ÿ