java同步大量数据到本地数据库方法总结

最近在做一个需求，就是我需要对三方接口调用的数据存放到本地的数据库里的数据表里面。那么一开始我就是直接一条一条save，结果发现耗时非常严重，后面我就进行了改进。就是分批次去同步或者分批次去异步。

现在我直接贴出我写的代码，这个代码只是一个演示代码，不过也挺完整的了。思路是完整的。

首先是实体DTO：

然后是：操作实体的Mapper接口、Service接口

 

 由于同步任务是一个非常耗时的操作。所以我们可以用一个调度任务然后在夜间某个时间点进行同步，当然由于三方接口返回的数据也会进行更新的，所以我们可以进行增量同步，但是我们并不知道更新的是哪些数据，当然你可以去挨个数据对比，但是比较麻烦，所以我们只能先做全部删除，然后再做全量同步。

先delete from

但是全部删除delete from 实则也是一个耗时操作，实际也是一行一行删除的，相对比全量同步可能稍微会快点，所以我们也需要对全部删除分批次+同步串行 或者是分批次+异步并行，也就是帮我们上面的同步串行改成删除就可以了。

所以我们可以在调用任务里面就是直接全量删除 + 全量同步，然后在夜间12.00进行这个任务的执行。当然如果你是在前端界面加上一个按钮叫做：一键同步的话，点击这个按钮，我们可以让前端发出一个axios异步请求，然后在界面上加上一个提示叫做：

同步操作已经进入后台处理，处理完毕会通知！

总结：

        这就是同步大量数据到本地数据库的一般思路，其实就是两个：

        同步串行 或者是 异步并行

最后：

        如果大家觉得这篇文章对你们有所帮助的话，麻烦给个免费的赞赞，谢谢，也祝各位码农在未来的IT道路上越走越远。