kettle分批处理大表数据_采用Kettle分页处理大数据量抽取任务

需求：

将Oracle数据库中某张表历史数据导入MySQL的一张表里面。

源表(Oracle)：table1

目标表(MySQL)：table2

数据量：20,000,000

思路：

由于服务器内存资源有限，所以，无法使用Kettle一次性从源表导入目标表千万级别的数据，考虑采用分页导入的方式来进行数据传输，即：

根据实际情况设置一个每次处理的数据量，比如：5,000条，然后根据总的数据条数和每次处理的数据量计算出一共分几页，

假设总数据量有：20,000,000，所以页数为：20,000,000/5,000=4,000页

注: 若存在小数，小数部分算一页，比如：20.3算21页

步骤：

根据需求的条件，首先对数据进行分页：

数据量：20,000,000

每页数据量：5,000

页数：4,000

源表(Oracle)：table1

目标表(MySQL)：table2

主流程：transfer_table1_to_table2.kjb

流程说明：

transfer_table1_to_table2.kjb: 主流程

build_query_page.ktr: 构造页数游标

loop_execute.kjb: 根据页数来