一、背景:
最近需求上线的时候发现一个问题,如果运营创建活动大批量导入数据的时候,就会出现通过事务操作的某一张表插入数据延迟非常严重,以至于出现比较奇怪的现象
二、解决方案
1、首先考虑采用事务中多线程进行处理,这样操作有几个问题:
- spring的声明式事务本身是不支持多线程的,如果要支持就需要采用手动事务了,另外还需要其它一些处理,参考(https://solomon523.iteye.com/blog/2253011)
- 线程中的异常是抛不出来的,如果需要针对异常感知需要进行额外的处理,比较繁琐
考虑到以上的问题,所以方式使用在事务中使用多线程的方案
2、线程池异步分批写入db
优点:首先同步写入缓存,异步写入db,保证了性能
难点:该方案需要保证异步写入db的原子性和最终一致性
具体方案:
线程池异步分批写入db,在写入的过程中保证数据的原子性,如果某一批失败可以重试3次,如果还是失败就回滚全部数据