java.lang.OutOfMemoryError: unable to create new native thread

1.系统以及线上现象介绍：
以前运行正常，对比以前，任务数量具增，但数据并没有以前多;
线上问题：系统已经不正常，并且导致虚拟机节点重启不了，并且根据运维的反馈服务器上命令执行不了
2.日志查找分析：
a.日志错误源查找如下：
[quote] Java HotSpot(TM) 64-Bit Server VM warning: Attempt to allocate stack guard pages failed.
Exception in thread "Thread-7050" java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:640)[/quote]
b.根据错误以及代码熟悉定位猜测:
分析任务增加--创建的线程池增加没有释放---线程数太多--创建不了线程
代码中有线程池每次new的创建，但没有shutdown
c.验证测试
[quote] import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;

/**
* User: tofhao
* Date: 2015/8/5
* Time: 17:47
*/
public class ThreadTest {
/**
* 启动线程池，运行任务。
*/
public static void poolExecute(){
int size =10;
ExecutorService executor = Executors.newFixedThreadPool(size);
for (int i = 0;i < size; i ++){

executor.execute(new Runnable() {

@Override

public void run(){

}

});

}
//executor.shutdown();
}


public static void main(String[] args){
poolExecute();
try {
// 主线程挂起
CountDownLatch latch = new CountDownLatch(1);
latch.await();
} catch(InterruptedException e) {
}
}
}[/quote]
4.利用jdk提供的jconsole连接上去查看验证
有无//executor.shutdown();连接池的线程数是否被释放
确认问题是无释放
还有一种方法可以通过调用ThreadPoolExecutor. allowCoreThreadTimeOut(true)允许超时自动关闭
5.线上打印堆栈信息:
jstack pid
6.修改代码，线上预发布运行观察对比
jstack pid
确认堆栈信息从接近3m降到接近200kb
7.持续观察