问题描述:
写了一个java程序打包成jar放到服务器上运行,设了个排程1分钟跑一次。跑了一段时间突然服务器上的tomcat挂了,查询log发现报JVM内存不足的错。于是查看了服务器上所有java进程,发现有非常多的进程执行的是之前那个java程序,且都处于阻塞状态。查看程序log发现有java.lang.OutOfMemoryError: unable to create new native thread错误,当时由于不知道到底什么原因造成,还以为是tomcat的jvm内存太小(其实跟tomcat没有关系),于是调大了jvm内存,kill掉了所有的阻塞线程。重启了tomcat,没成想。没过几天又出现同样的情况,并且间隔时间比之前还短。于是网上各种找,ThreadPoolExecutor源码翻来复去的看,大概知道原因是什么了。
先说原因:由于内存不足,线程池无法创建新的线程而抛出OutOfMemoryError错误,此时主线程线程池还未执行shutdown()方法,于是抛出异常后主线程结束,shutdown()方法无法执行,导致已经创建的线程在任务结束后挂起,无法结束。而只要‘非守护线程’未结束,进程就不会结束,所以出现了非常多阻塞进程。
下图是我模拟情况的代码
修改前
修改后:
下面介绍线程池的工作原理
我的java程序中用到了一个容量20的线程池。简单阐述线程池的工作原理
1.创建线程池ExecutorService fixedThreadPool=new Executors.newFixedThreadPool(20);
这表明线程池中最多有20个线程同时启动。线程数量与任务数量没有对应关系,任务数量可以远远大于20.
2.添加任务fixedThreadPool.execute(runnable)
2.1 execute()中若当前池中线程数量未达到20,执行addworker(command,true),开启新的线程,执行任务;否则将任务添加到任务队列中。
2.2在addworker()中创建开启worker,worker是一个实现Runnable的内部类
带有thread,firsttask属性。初始化worker时以自身作为runnable参数传递,创建thread。在addworder中执行t.start()后,thread会执行worker中的run()方法,run()中执行runworker()方法。
2.3 在runworker执行任务,调用task.run()执行任务
任务完成后通过getTask()不断获取任务队列中的新的任务,有任务则执行,没有任务就一直阻塞,直到线程池状态为shutdown(或stop且任务队列为空)。
runworker()中 while (task != null || (task = getTask()) != null)两个循环条件都不满足,退出循环。线程池中的线程结束。线程池关闭。
总结:这就是为什么线程池必须shutdown()的原因,如果不shutdown已经开启的线程会一直处于阻塞状态,即使主线程已经结束,进程也不会结束,从而使得进程阻塞。
至于为什么出现OutOfMemoryError,目前还没有头绪,目测jvm的默认内存分配完全是够用的,因此没有贸然动修改jvm参数,等下次再出现内存不足时再来分析原因