Kettle 单步执行作业或者转换
./pan.sh -file=/home/www/analysis/Application/Home/dfsolapetl/transformations/member/shopnc_member.ktr -debug=debug -log=/home/www/ktrLog.log
./kitchen.sh -file=/home/www/analysis/Application/Home/dfsolapetl/jobs/ext_stage.kjb -debug=debug -log=/home/www/kjbLog.log
Kettle常用组件学习
作业:负责将[转换]组织在一起进而完成某一块工作,通常我们需要把一个大的任务分解成几个逻辑上隔离的作业,当这几个作业都完成了,也就说明这项任务完成了。
转换:定义对数据操作的容器,数据操作就是数据从输入到输出的一个过程,可以理解为比作业粒度更小一级的容器,我们将任务分解成作业,然后需要将作业分解成一个或多个转换,每个转换只完成一部分工作。
- Generate Rows(输入->生成记录):用于生成指定数量的空行,后面的组件就是针对每一行进行操作。
- Add sequence (转换->增加序列):用于生成序列。使用的时候要明白,不依赖数据库来生成序列的话,序列值会在每次启动转换的时候复位。另外也可以利用Get ID from Slave Server来获取序列号,不过获取的序列号并不一定按次序产生的,只能确保比上次产生的值要大。
- 脚本->J