大量数据--分批插入操作--使用多个线程提交插入 Java

一、大数据量插入，不仅对数据库还是对服务器都有很大的压力，可能导致数据库宕机或者服务器CPU过高

这些问题都会导致程序出现问题，导致插入数据失败；因此我们需要进行插入优化；

二、优化方向

主要是使用批量、分批插入的方法，降低数据库压力，同时使用多个线程并发异步进行数据库批量插入操作，大大降低了服务器的压力。

代码示例：

public class TestUtil{

private void importBaseData(){
   // 创建线程池
 ExecutorService executorService = Executors.newFixedThreadPool(10); // 创建线程池
// 大数据量
List<XykFirstBrush> reportList = new ArrayList<>();
// 假设有9000条数据
for(int i=0;i<=9000;i++){
XykFirstBrush firstBrush=new XykFirstBrush();
  reportList.add(firstBrush);
}
// 分批插入 每200条一个批次 --根据自己情况设置
List<List<XykFirstBrush>> submitList = ListUtil.split(reportList, 200);
                    for (List<XykFirstBrush> list : submitList) {
                        BatchInsertTask task = new BatchInsertTask(list);
                        executorService.execute(task);
                    }

                    executorService.shutdown();
                    // 关闭线程池
                    log.info("----------导入数据完成----------");
}

private class BatchInsertTask implements Runnable {
        private List<XykFirstBrush> dataList;

        public BatchInsertTask(List<XykFirstBrush> data) {
            this.dataList = data;
        }


        @Override
        public void run() {
// 批量插入方法
            xykFirstBrushMapper.batchXykFirstBrushInsert(dataList);
        }
    }

}

三、结果

数据压力减小，插入效率提升；服务器压力减小；该解决方案还算可以。