线上项目有一天突然挂了,报错:java.lang.OutOfMemoryError: unable to create new native thread
大概意思就是:创建的线程实在是太多了,已经无法创建新的线程了。
开始排查问题:
一、网上查资料
得到的答案几乎都一样,但是都没用,如下:
调整JVMMemory内存大小、调整服务器的最大线程数等等。
二、仔细查看error日志,结合业务代码排查
根据error日志的堆栈信息找到抛出异常的代码块,并没有发现什么问题;因为业务代码这个地方并不存在创建大量线程的情况,但是还是猜测应该就是这里有问题。
把开发环境的项目注册到spring Boot Admin,然后模拟相关业务,从pring Boot Admin服务端监控项目的线程、内存情况,终于发现端详:
执行相关业务时创建了1万多个线程,但是通过日志查看,nio线程也才3百多,也就是说这1万多线程不是nio线程,
通过spring Boot Admin 查看线程详细信息,发现创建的大量线程不是我们定义的线程池里的线程,也不是nio线程。猜测就是业务代码使用的第三方jar包里创建的线程,查看源码,果然:
问题原因:
项目里有一段业务代码,每调用一次方法就会new一个第三方jar类的对象,从这个对象类的源码可以看到,每次创建对象的时候就在构造方法里面创建一个线程,而且这个线程执行完毕居然不会自动关闭回收。这样一来就导致线程越来越多,最终导致问题出现。
解决方法:
使用单例模式,项目启动时就把使用的第三方类对象初始化,注入到spring容器,这样就不会存在创建成千上万个线程的问题。
很多问题还得根据自身情况来定。