使用kettle实现增量更新

原理

将源表和目标表的数据进行比对并添加记录标识,根据标识进行增量更新或删除

效果图

本示例所用的数据库为oracle数据库

第一,新建转换,拖入表输入,并定义名称

源表属性

目标表属性

第二,拖入两个排序记录,并自定义名称

说明,如果不加排序记录会导致合并记录组件里的比对数据有重复,在插入又逐渐的目标表时会出现主键冲突,如果想知道具体错误可自行尝试

源表数据排序

目标表数据排序

第三,拖入合并记录并自定义名称

合并记录属性

第四,拖入Switch/case组件,可自定义名称

Switch/case组件属性

第五,处理switch/case组件判断后的步骤

拖入两个空操作,做一下缓冲,再拖入表输出组件,更新组件,删除组件,并按照图中的方式进行连接

表输出目标表的属性

更新属性

删除属性

第六,查看Switch / case组件属性,并定义目标步骤

完成,保存运行

本人测试处理一百万的数据大约需要一分钟的时间

若有问题,可在下方评论,联系博主