记一次Executor使用不当做局部变量导致的OOM

大致描述

背景是要求写一段工具代码来跑一些数据，本来是小功能，也没有时效要求。我还是搞了个多线程，没多想用Executor pool = Executors.newFixedThreadPool(5)定义成了局部变量，运行一段时间后OOM:Unable to create new native thread了。

排查

• 查询进程id

jps | grep {jar名称部分}

• 查询进程的资源占用情况

top -H -p {pid}

这里看到total有一千多的threads，这太离谱了。于是查看一些细节。

• 查询进程堆栈

jstack {pid} | less

看到很多线程处于waitting状态，统计了下数目：

jstack {pid}| grep 'State: WAITING' | wc -l

几乎全部都在waitting。
线上安装了arthas，用其提供的命令查看了都是命名pool-开始的命名，同事看了堆栈详细都是ThreadPoolExecutor类，定位到了出问题的代码块。

总结

这种错误确实不应该犯，本身线程池就是为了多次利用，如果每次进入方法就需要定义一个池，那岂不是和“池化技术”本身南辕北辙了。如果确有需要，可以用ExecutorService来接收线程池变量，可以在最后shutdown掉线程池。