Java多线程导致CPU占用100%解决及线程池正确关闭方式

简介

情景：1000万表数据导入内存数据库，按分页大小10000查询，多线程，15条线程跑。
使用了ExecutorService executor = Executors.newFixedThreadPool(15)
本地跑了一段时间后，发现电脑CPU逐渐升高，最后CPU占用100%卡死，内存使用也高达80%。

排查问题

Debug 发现虽然创建了定长15的线程池，但是因为数据量大，在For中循环分页查询的List会持续加入LinkedBlockingQueue()
队列中每一个等待的任务，又加载了1万的数据。所以不管是线程数的CPU抢占，还是内存的消耗都是极高。
所以是不是能够控制等待队列LinkedBlockingQueue的上限就可以了。

解决办法

使用AtomicLong 统计线程是否完成，再执行executor.submit()提交新的任务导队列中。
伪代码如下：

private AtomicLong threadNum = new AtomicLong(0);

public void init() throws Exception {
	ExecutorService executor = Executors.newFixedThreadPool(15);

	Integer total = accountMapper.selectCount(new QueryWrapper<>());
	Integer pageSize = 10000;  // 页大小
	Integer pageCount = (total + pageSize -1) / pageSize; // 总页数

	for (Integer start = 1; start <= pageCount; start++) {

		List<Account> list = accountMapper.selectPage(new Page<>(start, pageSize), query).getRecords();

		//等待线程任务完成，设置30，可令运行线程数为15，等待队列线程数为15
		while (threadNum.get() >= 30){
			Thread.sleep(5000);
		}

		//开启1个线程+1
		threadNum.incrementAndGet();
	
		executor.submit(() -> {

			try {
				// 处理业务
				dealMessage(list);
				// 任务完成 -1
				threadNum.decrementAndGet();
			} catch (Exception e) {
				e.printStackTrace();
			}

		});

	}
        executor.shutdown();
        executor.awaitTermination(1, TimeUnit.DAYS);

}

效果就是CPU保持在15~45%之间，内存占用也只有45%。