使用Kettle动态生成页码并实现分页数据同步
文章目录需求思路解决方案根据表数据生成页码根据页码循环同步数据总结拓展参考文献需求将 DB2 数据库中的表数据导入另一个 DB2 数据库的表里面。源表(DB2):table1目标表(DB2):table2数据量:千万级别思路当时直接使用 Kettle 将数据从源表导入到目标表中,但是考虑到数据量过于庞大,实际执行过程花费了很长时间,因此考虑采用分页导入的方式来进行数据传输,即:根据实际情况设置一个每次处理的数据量,比如:5,000条,然后根据总的数据条数和每次处理的数据量计算出一共分几页。
原创
2020-05-15 16:45:28 ·
1412 阅读 ·
5 评论