kettle是数据处理中常用的ETL工具,它的三大家族分别是Spoon、Pan、Kitchen。
- Spoon:通过图形界面方式设计、运行、调试Job与Transformation。
- Pan: 通过脚本命令方式来运行Transformation。
- Kitchen: 通过脚本命令方式来运行Job,一般就是通过调用Kitchen脚本来完成定时任务。
在kettle中写SQL语句读表的时候,往往会有通过一个变量过滤不同数据的需求,在kettle中我们可以通过两种方法实现可变参数,一种是位置变量,另一种是环境变量。
1.位置变量:
step1:选择输入-->表输入-->用SQL获得变量值
step2:选择输入-->表输入-->写读数据的SQL,需要的变量用?表示,勾选“替换SQL语句里的变量”和“从步骤插入数据”,?会从前一个SQL中获得的变量依次填充。
例如:
变量表
数据表