【Kettle】Kettle专栏:第3章:几种循环方式在Kettle中的实现

*******************************    本专栏由黎老湿独家创作,一家之言,不喜勿喷    *******************************

Kettle支持多种循环方式,下面一一说明。

 

1、对一个集合(数组)进行循环

// Java伪代码
for(String element: elements){
    // do something
}

--Kettle实现方法:

一个作业,包含2个步骤。

第1个步骤读取集合,最后一个控件是“Copy rows  to result”,

第2个步骤针对集合中的单条记录做处理,同时指定“对每个输入行执行一次”

案例:file.txt文件存放着3个文件名,需要把这3个文件的相关信息(文件名、文件大小、创建时间)输出到result.txt

 

2、循环10次

// Java伪代码
for(int i=0; i<10; i++){
    // do something
}


// 等同于下面的代码
int i = 0;
while(i < 10)
    // do something
    i++;
}

--Kettle实现方法:

设置变量 + JS控件做自增 + 判断

 

3、while循环(通过条件判断)

// Java伪代码
while(条件成立)
    // do something
    // 控制条件变化
}

--Kettle实现方法:

实现方式跟上面方法2是一样的操作,但是不再使用JS控件作为条件判断,而是使用“Job -> Conditions -> 条件控件”来判断

思路如下:

 

  • 7
    点赞
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Kettle是一款强大的数据集成工具,也可以用于实现循环跑批。在Kettle,我们可以通过使用Transformation Job Steps来实现循环跑批。下面是实现步骤: 1. 准备数据源:为了实现循环跑批,我们需要先准备好数据源,比如数据库的表或者文件夹的文件。 2. 创建Transformation:在Kettle创建一个Transformation作为主程序,用于控制数据批处理的流程。在Transformation,我们需要完成数据的抽取、转换、加载等过程。 3. 创建Job:创建一个Job用于控制Transformation的执行顺序,以及进行循环。我们可以使用“循环控制”步骤,设置循环次数及循环条件,也可以设置在前一次循环结束后,再次开始下一次循环。 4. 创建转换/任务循环步骤: 我们需要在Job添加“转化循环”或“任务循环”步骤,在这个步骤,我们可以指定需要循环的转换或任务,修改他们的参数,以及设置循环次数。在每个循环周期结束后,步骤会自动调用转换或任务进行处理,直到循环次数或者循环条件不满足时停止。 5. 运行Job:设置好循环的参数和条件之后,我们可以直接在Kettle运行Job,并实时查看运行日志。通过查看日志,我们可以了解每个循环周期的处理情况,如出错等异常情况。 总之,通过使用Kettle的Transformation Job Steps,我们可以快速实现数据批处理的循环跑批,提高数据处理的效率和准确性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值