menglonghuanying的博客

原创 数据库同步大数据量表之增量同步实现方案

遇到的需求：两个服务器上的两个不同类型的数据库，分别是源pg库-->目标库的MySQL。 数据量：4亿条数据。 同步方案：同步每日新增和修改，删除的数据条。 由于之前同步是全量同步，每天都需要定时全量同步，不仅时间消耗长，也影响下游业务（查询慢，有时还会锁表）。全量同步使用的java的定时任务，多线程的方式进行同步，发现某一天同步任务执行不完的情况，修改为增量同步方案。 增量同步要求...