kettle 多表查询大量数据同步 mysql 分页实现

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/chensirbbk/article/details/80760111

版本

kettle7.0

mysql5.7

应用场景

在实际开发环境中,使用kettle同步的过程可能操作的数据非常大,几百万条,甚至上千万条。在这个过程中,如果使用kettle一次性同步数据的话,会出现内存溢出、GC未能及时释放,数据源脚本长时间无响应,在Linux下面甚至还出现:

Triggering heartbeat signal for 。。。 at every 10 seconds 这种情况的警告。

      综合上面的情况,kettle + 分页 实现数据同步是一种比较好的可选方案。

      在这种情况下使用mysql分页,建议大家放弃limit。

     下图是主要过程:


   1.设置变量:

    

2.检查字段值


3.使用javascript脚本验证


4.转换里面表输入的配置




展开阅读全文

没有更多推荐了,返回首页