在上线Cassandra产品的压测过程中，遇到8GB ECS频繁触发OOM Killer。通过排查，发现并非Java堆内存问题，而是由于大量mmap文件导致的堆外内存增加。在读取mmap文件后，物理内存显著增长，揭示了问题根源在于Cassandra在64位系统上默认使用mmap，而小规格ECS内存不足。解决方案包括调整heap配置或关闭mmap特性。
背景
最近准备上线cassandra这个产品，同事在做一些小规格ECS(8G)的压测。压测时候比较容易触发OOM Killer，把cassandra进程干掉。问题是8G这个规格我配置的heap(Xmx)并不高（约6.5g）已经留出了足够的空间给系统。只有可能是Java堆外内存使用超出预期，导致RES增加，才可能触发OOM。
调查过程
0.初步怀疑是哪里有DirectBuffer泄漏，或者JNI库的问题。
1.按惯例通过google perftools追踪堆外内存开销，但是并未发现明显的异常。
2.然后用Java NMT 看了一下，也没有发现什么异常。
3.查到这里思路似乎断了，因为跟DirectBuffer似乎没啥关系。这时候我注意到进程虚拟内存非常高，已经超过ECS内存了。怀疑这里有些问题。
4.进一步通过/proc/pid/smaps 查看进程内存地址空间分布，
最低0.47元/天 解锁文章
扫一扫
439
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
