linux部署多个jar 会宕机_线程过多造成的服务器宕机

1.   问题来源

公司线上环境出现MQ不能接受消息的异常，运维和开发人员临时切换另一台服务器的MQ后恢复。同时运维人员反馈在出现问题的服务器上很多基本的命令都不能运行，出现如下错误：

2.   初步原因分析和解决

让运维的兄弟在服务上查看内存、CPU、网络、IO等基本信息都正常。于是自己到运维的服务器上看了一下，下面是slabtop –s c的运行结果，问题初步原因貌似出现了：

如果看到这个截图你看不出什么异常的话，下面的内容你可能不感兴趣，哈哈。。。

task_struct是内核对进程的管理单位，通过slub(slab的升级版，如果你对slub不了解也不影响下面的内容，只要了解slab就行了)进行节点的管理，正常负载的服务不应该出现task_struct的slub结构体占用内存最大的情况，这说明这台服务器上开启了大量的进程(Linux内核态对进程和线程都是一个单位，不要纠结这个，后面可能会进程、线程混用)。

通过这个信息，兄弟们发现这台服务器上有近3万个线程，同时也定位到出问题的网元(一个新同学的代码没有Review直接上线，里面有一个BUG触发了异常创建大量线程)。

问题貌似到这里就结束了，但是作为一个有情怀的程序员，这只是一个开始(哥的情怀白天都被繁琐的工作磨没了，只能在这深夜独享了。。。)

3.   Linux线程数的限制

3.1     应用层测试代码

#include

#include

#inclu