多线程入库事务回滚实现

最新推荐文章于 2024-05-29 14:50:52 发布

对你偏爱u

最新推荐文章于 2024-05-29 14:50:52 发布

阅读量765

点赞数 1

文章标签： java spring mysql

本文链接：https://blog.csdn.net/m0_46569883/article/details/132812970

版权

多线程入库事务回滚实现

本文基于CyclicBarrier 和 CompletableFuture 实现springboot框架下的多线程事务管理。

内容阐述均基于springboot框架

一、问题点

一般我们入库时都会基于 @Transactional注解管理我们的事务，但是在多线程入库的场景下该注解不能生效，此时就需要我们手动的去处理事务了。

二、具体实现

1.全局线程池配置

#自定义线程池 （配置在application.yml中）
thread-pool:
  # 核心线程数
  core-size: 16
  # 最大线程数
  max-size: 32
  # 队列容量
  queue-capacity: 1000
  # 线程池名称
  name: v_eco_thread_pool

/**
 * 多线程配置类  配置在 config 下
 * 启动异步方法注解
 * @author daniel
 */
@Data
@Configuration
@ConfigurationProperties(prefix = "thread-pool")
public class ThreadPoolConfig {

    private Integer coreSize;
    private Integer maxSize;
    private Integer queueCapacity;
    private String name;

    @Bean(name = "myThreadPool")
    public Executor myThreadPool() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setCorePoolSize(coreSize);
        executor.setMaxPoolSize(maxSize);
        executor.setQueueCapacity(queueCapacity);
        executor.setThreadNamePrefix(name);
        // 该策略丢弃队列中最旧的任务，然后尝试重新提交被拒绝的任务。如果该策略与任务提交速度不匹配，可能会导致一些任务永远得不到执行。
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.DiscardOldestPolicy());
        return executor;
    }
}

2.手动事务管理实现

/**
 * @author daniel
 * @date 2023-09-05 13:12:28
 */
@Slf4j
@Service("statisticsService")
public class StatisticsServiceImpl extends ServiceImpl<StatisticsDao, StatisticsEntity> implements StatisticsService {


    @Qualifier("myThreadPool")
    @Autowired
    private Executor executor;

    @Autowired
    private DataSourceTransactionManager transactionManager;

    @Override
    public void saveStatisticInfo() {
        	// 需要入库的数据 list（这里的list 替换成实际需要入库的list）
            List<T> list = new ArrayList();
        
            // 这里可以修改某个数据的长度，模拟数据长度过长 报错场景 判断事务是否回滚
//            list.get(100).setData("11111111111111111");
            // 这里将多条数据拆分成多个list 多线程入库
            List<List<T>> partition = Lists.partition(list, 200);

            // 通过 CyclicBarrier 来控制线程提交
            int taskCount = partition.size();
          	// 总共要处理的线程数
            CyclicBarrier cyclicBarrier = new CyclicBarrier(taskCount);

            // 设置共享变量 记录多线程入库状态 (默认为false)
            AtomicBoolean atomicBoolean = new AtomicBoolean(false);
            // 事务定义
            DefaultTransactionDefinition definition = TransactionUtils.getTransactionDefinition();

            // 多线程入库
            long start = System.currentTimeMillis();
            // 基于CompletableFuture入库，这里借用了 join()阻塞主线程，等所有数据入库完成再返回。不需要返回的可以直接用线程池
            CompletableFuture.allOf(partition.stream()
                    .map(statisticsEntities -> CompletableFuture.runAsync(() -> {
                        // 获取事务状态 开启事务
                        TransactionStatus status = transactionManager.getTransaction(definition);
                        try {
                            // 这里加判断 如果前面有任务报错 后续的任务就没必要继续执行了，直接去同步点等待事务回滚。
                            if (!atomicBoolean.get()) {
                                // 这里的入库是用的mybatisPlus的savebatch，直接this调自身的Transactional注解不生效
                                this.saveBatch(statisticsEntities);
                            }
                        } catch (Exception exception) {
                            exception.printStackTrace();
                            atomicBoolean.getAndSet(true);
                        }
                        // 等待其他线程到达同步点
                        try {
                            cyclicBarrier.await();
                        } catch (Exception e) {
                            e.printStackTrace();
                        }

                        // 判断 事务是提交 还是 回滚
                        if (atomicBoolean.get()) {
                            transactionManager.rollback(status);
                        } else {
                            transactionManager.commit(status);
                        }
                    }, executor)).toArray(CompletableFuture[]::new)).join();

            log.info("save success, total time = {} ms",(System.currentTimeMillis()-start));
    }
}