kettle mysql 分页_kettle循环分页导入数据

在使用ETL工具kettle做数据导入的时候，如果数据量比较大，如果不使用分页导入数据，因为一次性加载数据量太大，会导致内存溢出错误，所以使用适当的分页，可以避免此错误的出现。

实现的思路是，先把分页的初始条件设置为变量， 然后判断分页条件是否符合，如果不符合，则直接退出，如果符合，则继续导入，本次导入完成之后，执行控操纵，然后再次到分页条件判断，一词进行，直到最后一页导入完成。下次判断就会返回false，直接跳到成功步骤。

job整体流程图如下：

详细步骤拆分：

1：设置分页变量

在第一个转换中设置两个命名参数：

把参数设置成变量，也是job里面的第1个转换的流程只设置变量即可。