转自: https://blog.csdn.net/chensirbbk/article/details/80760111
Kettle批量操作流程使用(一)---单个数据源多表批量操作: https://blog.csdn.net/wangxiaotaolhc/article/details/79310732
Kettle批量操作流程使用(二)---多个数据源单表批量操作: https://blog.csdn.net/wangxiaotaolhc/article/details/79315834
Kettle批量操作流程使用(二)---多个数据源单表批量操作: https://blog.csdn.net/wangxiaotaolhc/article/details/79315834
kettle 批量抽取多个表数据: https://blog.csdn.net/qq_35318838/article/details/53322530
KETTLE实现循环批量多表抽取添加字段: https://blog.csdn.net/qq_41704358/article/details/79519133
kettle 多表级联 将多个表格的查询的数据插入到一个表格中: https://blog.csdn.net/bird_tp/article/details/83784017
kettle同步多张表: https://blog.csdn.net/Ctrain/article/details/70432078
kettle实现数据库迁移----多表复制向导: https://blog.csdn.net/ncepuzhuang/article/details/41556623
kettle 多表查询大量数据同步 mysql 分页实现: https://blog.csdn.net/chensirbbk/article/details/80760111
版本
kettle7.0
mysql5.7
应用场景
在实际开发环境中,使用kettle同步的过程可能操作的数据非常大,几百万条,甚至上千万条。在这个过程中,如果使用kettle一次性同步数据的话,会出现内存溢出、GC未能及时释放,数据源脚本长时间无响应,在Linux下面甚至还出现:
Triggering heartbeat signal for 。。。 at every 10 seconds 这种情况的警告。
综合上面的情况,kettle + 分页 实现数据同步是一种比较好的可选方案。
在这种情况下使用mysql分页,建议大家放弃limit。
下图是主要过程:
1.设置变量:
2.检查字段值
3.使用javascript脚本验证
4.转换里面表输入的配置
---------------------
作者:翠花琳
来源:CSDN
原文:https://blog.csdn.net/chensirbbk/article/details/80760111
版权声明:本文为博主原创文章,转载请附上博文链接!