事务中分批插入db性能优化方案

一、背景：

最近需求上线的时候发现一个问题，如果运营创建活动大批量导入数据的时候，就会出现通过事务操作的某一张表插入数据延迟非常严重，以至于出现比较奇怪的现象

二、解决方案

1、首先考虑采用事务中多线程进行处理，这样操作有几个问题：

• spring的声明式事务本身是不支持多线程的，如果要支持就需要采用手动事务了，另外还需要其它一些处理，参考(https://solomon523.iteye.com/blog/2253011)
• 线程中的异常是抛不出来的，如果需要针对异常感知需要进行额外的处理，比较繁琐

考虑到以上的问题，所以方式使用在事务中使用多线程的方案

2、线程池异步分批写入db

优点：首先同步写入缓存，异步写入db，保证了性能

难点：该方案需要保证异步写入db的原子性和最终一致性

具体方案：

线程池异步分批写入db，在写入的过程中保证数据的原子性，如果某一批失败可以重试3次，如果还是失败就回滚全部数据