记一次系统错误问题的排查经验-----sh: can‘t fork

        最近系统出现了一个莫名其妙的问题，就是运行一段时间之后出现了很多奇怪的异常现象，所以第一反应是看一下进程的运行情况、内存占用情况和cpu利用情况，但是更加奇怪的问题是无论是运行ps还是free都出现了sh: can't fork的错误信息，这是什么鬼东西，去Google搜索了各种资料(不要问我怎么上的Google，你懂的)，没有得到任何有用的信息，所以只能靠感觉定位了，既然没办法fork，可能是内存被占用完了，那么目前就需要确认系统的内存使用情况。

       1、free命令用不了，ls也出现报错，通过各种方式最后在/proc路径下vi meminfo看到了内存信息，内容如下：

        MemTotal:       16357468 kB
        MemFree:         4878352 kB
        MemAvailable:    7485820 kB
        Buffers:          538576 kB
        Cached:          1894516 kB

       发现内存还有4个多G没使用完，那么就能排除内存不足导致的fork出现错误了。

      2、既然不是内存问题，那么还有什么原因导致了，我查了fork的相关接口代码，发现fork主要动作是创建子进程，创建子进程如果内存充足怎么会创建失败呢？后来搜到一个命令ulimit -a查看系统当前用户的资源限制信息，才知道可能是线程数超过了系统的最大限制数量，从而导致的fork失败的发生。为了验证这个猜想我查看了ulimit -a命令结果：

HH:~#ulimit -a
        -f: file size (blocks)