Cannot allocate memory,实际有内存

背景
拿到一台基于VMware的虚拟机，安装一个公司产品，包含各个组件（微服务），内存要求较高。

问题
安装产品过程中，出现如下问题：

问题分析
问题定位：无非就是软件安装时的问题或者服务器问题。但考虑到之前该产品已经在多台服务器、现场都进行了正常安装，优先排查问题的思路方向指向服务器上。

那目前情况必须要先连上服务器才行，找到服务器崩溃的日志分析下为什么会导致这种情况。

也试了很多次服务器确实无法连接登录，只能找下管理虚拟机的人员，帮忙强制重启下。重启完进入服务器后，确实发现JVM挂掉后产生的日志hs_err_pid18886.log

分析日志：

这个文件主要包含如下内容：

日志头文件
导致 crash 的线程信息
所有线程信息
安全点和锁信息
堆信息
本地代码缓存
编译事件
gc 相关记录
jvm 启动参数
服务器信息

怎么查看日志内容不做细讲，一般日志头文件会提供大概的问题所在及可以采取的措施，如下：

翻译大概如下：

#可能的原因：

系统的物理RAM或交换空间不足

进程在启用CompressedOops的情况下运行，Java堆可能会阻止本机堆的增长

#可能的解决方案：

减少系统内存负载

增加物理内存或交换空间

检查交换备份存储是否已满

减小Java堆大小（-Xmx/-Xms）

减少Java线程数

减少Java线程堆栈大小（-Xss）

使用-XX:ReservedCodeCacheSize设置更大的代码缓存=

JVM运行的是无标度的压缩Oops模式，其中Java堆是

放在第一个4GB地址空间。Java堆基址是

本机堆增长的最大限制。请使用-XX:HeapBaseMinAddress

设置Java堆基并将Java堆放置在4GB虚拟地址之上

咋一看是怀疑内存不足，但截取日志中服务器信息一看，内存还有许多剩余，应该不是该原因，排除。

               看到提供的可能的解决方案中有需要减少java线程数，联想到服务器的进程数是不是满了，首先查看服务器最大进程数 sysctl kernel.pid_max





               接着一查看进程数ps -eLf | wc –l，16149远远还没到32768啊，那肯定也不是进程数满了的原因，排除。





               看下安装过程中的日志信息，提供的有用日志信息（Not enough space）如下：





               没有足够的空间？服务器无法分配足够的空间了，然后对服务器上的内存和磁盘使用情况（如下图）进行再次核实，是还有剩余的，那到底是什么原因导致有内存却无法分配呢？









               Linux下有个内核参数overcommit_memory，是内存分配策略，程序在启动的时候会先去申请内存，尽管不一定都会用的到那么多。

overcommit_memory此参数决定是否接受超大内存请求的条件。这个参数有三个可能的值：

0 — 默认设置。内核执行启发式内存过量使用处理，方法是估算可用内存量，并拒绝明显无效的请求。遗憾的是因为内存是使用启发式而非准确算法计算进行部署，这个设置有时可能会造成系统中的可用内存超载。

1 — 内核执行无内存过量使用处理。使用这个设置会增大内存超载的可能性，但也可以增强大量使用内存任务的性能。

2 — 内存拒绝等于或者大于总可用 swap 大小以及overcommit_ratio指定的物理RAM比例的内存请求。如果您希望减小内存过度使用的风险，这个设置就是最好的。

               而系统目前的overcommit_memory是为2

目前的内存申请和可用情况cat /proc/meminfo | grep Commit

   #CommitLimit 表示系统可申请的总内存

#Committed_AS为当前已经申请的内存

CommitLimit=75743028 KB和Committed_AS=74870856 KB两个值很接近，且overcommit_memory=2。而我们那么多的内存为什么申请不到呢？答案就是被别的程序申请占用了，尽管这些内存没有实际用到，却也无法再让另外的程序进行申请。如果申请时发现无法申请到足够的内存就会报此错误。

我们顺便再理解下什么是Overcommit和OOM：

               Linux对大部分申请内存的请求都回复"yes"，以便能跑更多更大的程序。因为申请内存后，并不会马上使用内存。这种技术叫做Overcommit。当linux发现内存不足时，会发生OOM killer(OOM=out-of-memory)。它会选择杀死一些进程(用户态进程，不是内核线程)，以便释放内存。

当oom-killer发生时，linux会选择杀死哪些进程？选择进程的函数是oom_badness函数(在mm/oom_kill.c中)，该函数会计算每个进程的点数(0~1000)。点数越高，这个进程越有可能被杀死。每个进程的点数跟oom_score_adj有关，而且oom_score_adj可以被设置(-1000最低，1000最高)。

解决方法
很简单，将vm.overcommit_memory设为1即可。

有三种方式修改内核参数，但要有root权限：

编辑/etc/sysctl.conf ，改vm.overcommit_memory=1，然后sysctl -p使配置文件生效
sysctl vm.overcommit_memory=1
echo 1 > /proc/sys/vm/overcommit_memory，
然后sysctl –p永久生效

参数修改生效后，重启进行验证，验证OK。