springboot配置线程池使用多线程插入数据

前言：

最近在工作中需要将一大批数据导入到数据库中，因为种种原因这些数据不能使用同步数据的方式来进行复制，而是提供了一批文本，文本里面有很多行url地址，需要的字段都包含在这些url中。最开始是使用的正常的普通方式去写入，但是量太大了，所以就尝试使用多线程来写入。下面我们就来介绍一下怎么使用多线程进行导入。

1.文本格式

格式就是类似于这种格式的url，当然这里只是举个例子，大概有300多个文本，每个文本里面有大概25000条url，而每条url要插入两个表，这个量还是有点大的，单线程跑的非常慢。

• https://www.test.com/?type=1&code=123456&goodsId=321

2.springboot配置线程池

我们需要创建一个ExecutorConfig类来设置线程池的各种配置。

@Configuration
@EnableAsync
public class ExecutorConfig {
    private static Logger logger = LogManager.getLogger(ExecutorConfig.class.getName());

    @Bean
    public Executor asyncServiceExecutor() {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        //配置核心线程数
        executor.setCorePoolSize(5);
        //配置最大线程数
        executor.setMaxPoolSize(10);
        //配置队列大小
        executor.setQueueCapacity(400);
        //配置线程池中的线程的名称前缀
        executor.setThreadNamePrefix("thread-");
        // rejection-policy：当pool已经达到max size的时候，如何处理新任务
        // CALLER_RUNS：不在新线程中执行任务，而是有调用者所在的线程来执行
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        //执行初始化
        executor.initialize();
        return executor;
    }
}

3.创建异步任务接口

我们需要创建一个接口，再这个接口里面声明了我们需要调用的异步方法

public interface AsyncService {

    /**
     *  执行异步任务
     */
    void writeTxt();
}