kettle循环(只适用于数据量不大的情况下)

直接上例子,适用在考虑使用:

我当时的需求是将文本文件的数据插入更新到数据库,数据量大概为200w以上,执行完需要一个多小时,自己在网上搜到的用js脚本实现循环,觉得不太好(个人原因),所以无意之间发现了这个方法

上图有两个转换,获取文件数据和比对数据,做相应操作

需要将获取到的数据在比对数据,做相应操作转换中进行数据库匹配,打日志等操作,如果不循环查库(此处就是慢的原因,加索引也不好使)将得不到插入更新标记,也就无法接下来的操作。

循环其实就是执行所有数据的每一行,kettle已经提供了相应功能:

至此,就可以实现循环了,有兴趣可以留言,有相关问题可以解答。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值