kettle配置如图:
kettle做增量数据需要一个时间记录上次抽取/处理的时间,后续数据处理只要抽取的数据中有该时间大于上次抽取时间即可。
1.获取增量时间
2.把增量时间设置为转换/整个job的变量。
变量范围可以是:JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量
3.查询增量数据
根据上次抽取时间将增量数据查询出来,在执行后面的处理。
注意:标红时间获取格式,不加'' 符号会报错。这种方法主要解决可能需要多个参数变量的问题。