用kettle做增量更新时遇到大数据量表更新速度缓慢的解决方案
最近在工作中遇到了数据增量同步的需求,目标是将B库中的表能与A库中相同的表做同步新增/更新/删除操作(A库的增删改操作不由我们控制)。工具用的是kettle。实现方法是每天定时获取A表里前一天的数据(通过时间字段判断),如果B表里存在该条记录(通过主键字段判断)则更新,否则新增。至于如果A表删除数据我们怎么实现同步,方法是每周一次定期删表然后做全量的新增。在用kettle中发现,当表的数据量很...
原创
2019-08-08 18:45:45 ·
14730 阅读 ·
7 评论