kettle spoon判断增量更新_Kettle增量更新设计技巧

摘要：本文主要讨论一些在ETL中设计增量更新的方法和技巧。

ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也有一些帮助。本文不可能涵盖所有的情况，欢迎大家讨论。

应用场景

增量更新按照数据种类的不同大概可以分成：

1.         只增加，不更新，

2.         只更新，不增加

3.         即增加也更新

4.         有删除，有增加，有更新

其中1，2，3种大概都是相同的思路，使用的步骤可能略有不同，通用的方法是在原数据库增加一个时间戳，然后在转换之后的对应表保留这个时间戳，然后每次抽取数据的时候，先读取这个目标数据库表的时间戳的较大值，把这个值当作参数传给原数据库的相应表，根据这个时间戳来做限定条件来抽取数据，抽取之后同样要保留这个时间戳，并且原数据库的时间戳一定是指定默认值为sysdate当前时间(以原数据库的时间为标准)，抽取之后的目标数据库的时间戳要保留原来的时间戳，而不是抽取时候的时间。

对于第一种情况，可以使用Kettle的Insert / Update 步骤，只是可以勾选Don’t perform any update选项，这个选项可以告诉Kettle你只会执行Insert步骤。

对于第二种情况可能比较用在数据出现错误然后原数据库有一些更新&#x