OOM Killer

转载 2015年07月08日 14:01:35

最近遇到两起Linux的内存问题,其一是触发了oom-killer导致系统挂

1. 首先确认该系统的版本是32位

#uname -a
Linux alarm 2.6.9-67.ELsmp #1 SMP Wed Nov 7 13:58:04 EST 2007 i686 i686 i386

2. 我们了解一下32位Linux的内存管理结构

# DMA: 0x00000000 -  0x00999999 (0 - 16 MB)
# LowMem: 0x01000000 - 0x037999999 (16 - 896 MB) - size: 880MB
# HighMem: 0x038000000 - <硬件特定>

    内核使用low memory来跟踪所有的内存分配,这样的话一个16GB内存的系统比一个4GB内存的系统,需要消耗更多的low memory,当low memory耗尽,即便系统仍然有剩余内存,仍然会触发oom-killer。在2.6内核的表现是,杀掉占用内存最高的进程,所以会导致sshd等进程被杀掉,造成系统无法登录。

3. 如何查看lowMem

复制代码
-bash-3.00# free -lm
             total       used       free     shared    buffers     cached
Mem:          2026       1973         52          0         36       1303
Low:           874        823         51
High:         1151       1150          1
-/+ buffers/cache:        633       1392
Swap:         3067        142       2924
复制代码

4. 所以我们需要保护LowMem,在2.6内核引入了lower_zone_protection,这将让内核愿意保护low memory,从而在分配内存时优先考虑从high memory分配。

-bash-3.00# cat /proc/sys/vm/lower_zone_protection
0
-bash-3.00#echo 400 > /proc/sys/vm/lower_zone_protection

 另一起问题是24G内存的系统,空闲内存已经不到50M

1. 确认该系统的版本是64位

# uname -a
Linux gxgd-nms-app 2.6.18-194.el5xen #1 SMP Tue Mar 16 22:01:26 EDT 2010 x86_64 x86_64 x86_64 GNU/Linux

2. 用ps查看各进程的内存,大约就占用了4G, 绝大部分内存都是被Page Cache所占用。Linux内核的策略是最大程度的利用内存cache 文件系统的数据,提高IO速度,虽然在机制上是有进程需要更大的内存时,会自动释放Page Cache,但不排除释放不及时或者释放的内存由于存在碎片不满足进程的内存需求。

   所以我们需要一个方法,能够限定PageCache的上限。

Linux 提供了这样一个参数min_free_kbytes,用来确定系统开始回收内存的阀值,控制系统的空闲内存。值越高,内核越早开始回收内存,空闲内存越高。

[root@zyite-app01 root]# cat /proc/sys/vm/min_free_kbytes
163840
echo 963840 > /proc/sys/vm/min_free_kbytes

其他可选的临时解决方法:

关闭oom-killer

cat /proc/sys/vm/oom-kill
echo "0" > /proc/sys/vm/oom-kill
vi /etc/sysctl.conf
  vm.oom-kill = 0

2. 清空cache (可选)
echo 1 > /proc/sys/vm/drop_caches



OOM-killer:Out-of-Memory (OOM) Killer是一种保护机制,用于当内存严重不足时,为了系统的继续运转,内核迫不得已挑选一个进程,将其杀死,以释放内存,缓解内存不足的问题。
可以看出这种方式对进程的保护是有限的,不能完全的保护进程的运行。


OOM Killer的关闭与激活方式:
# echo "0" > /proc/sys/vm/oom-kill
# echo "1″ > /proc/sys/vm/oom-kill


在实际运营场景中,我们经常出现ssh连接不上服务器,但ping却是通的情况,这个时候很有可能是内存不够linux启动了oom-killer,系统根据一定的分数和机制来决定
随机杀掉一些程序释放物理内存(特别是我们后台需要大量共享内存而且用了mlock的程序),而sshd进程很可能就是被选中杀掉的进程,因此导致通过ssh登录不上。 
这个时候基本上swap也被耗尽, 所有能释放内存的机制内核都已经尝试了。


而ping能够通,主要是因为ping其实是内核协议栈就直接回包了,不会走到用户态,所以还能证明机器还是活着的。


 
对于每个进程都有一个oom_score的属性/proc/PID/oom_score
oom- killer 会杀死oom_score较大的进程,当oom_score为0时禁止内核杀死该进程。


还有一个/proc/PID/oom_adj
一般来说,oom_adj的值越大,该进程被系统选中终止的可能就越高,当oom_adj=-17时,oom_score将变为0。
(要对某个进程进行OOM保护的话就直接向“/proc/pid/oom_adj”中写入“-17”即可。)


所以可以通过命令 
echo 0 > /proc/PID/oom_adj 
来防止重要的进程被oom_killer杀死。


例如可以把sshd进程的oom_adj改为0 ,包括自己连接上的那个终端进程,这样你还可以执行一些运维工作。

相关文章推荐

OOM Killer的运行与结构

本节介绍OOM Killer的运行与结构。 Linux中的Out Of Memory(OOM) Killer功能作为确保内存的最终手段,可以在耗尽系统内存或交换区后,向进程发送信号,强制终止该进程。...

理解和配置 Linux 下的 OOM Killer

文章转至http://www.vpsee.com/2013/10/how-to-configure-the-linux-oom-killer/
  • wengtf
  • wengtf
  • 2014年05月12日 14:01
  • 687

tomcat与oom_killer

1、场景 聚石塔内的服生产务器,每隔2、3个星期都会自动挂掉,导致业务生产受阻。因为之前也发生过这种情况,以前在服务器挂掉后马上去查看进程,想及时打印出堆栈信息,或者查看GC日志,(可...

Linux OOM killer 机制

Linux中的Out Of Memory(OOM) Killer功能是一种确保系统内存足够的最终手段,可以在耗尽系统内存或交换区后,按某种算法判断占用系统最多资源的进程,向进程发送信号,强制终止该进程...

是oom-killer还是接收了SIGHUP信号 导致进程挂死

最近在定位用户态的一个进程ke 当我们需要在远程测试环境中运行诸如压力测试等需要后台运行的程序,但是当你关闭了远程登录的窗体时,却意外的也关闭了你的后台程序。这个问题的原因是:后台执...

OOM Killer

OOM Killer The functions, code excerpts and comments discussed below here are from mm/oom_kill.c...

Linux系统OOM killer机制详解

介绍: Linux下面有个特性叫OOM killer(Out Of Memory killer),会在系统内存耗尽的情况下出现,选择性的干掉一些进程以求释放一些内存。广大从事Linux方面的IT农民...

linux OOM-killer机制(杀掉进程,释放内存)

Linux 下面有个特性叫 OOM killer ( Out Of Memory killer ) ,这个东西会在系统内存耗尽 的情况下跳出来, 选择性的干掉一些进程以求释放一些内存。...

oom-killer

OOM是Out of Memory的简写,也就是内存不足。出现该问题的原因有很多,如程序内存泄漏等。内存泄漏问题可以通过定时地终止和重启有问题的程序来发现和解决。在比较新的Linux内核版本中,有一种...
  • ANLJF
  • ANLJF
  • 2011年09月09日 17:47
  • 3590

Linux -- 内存控制之oom killer机制及代码分析

线上一些内存占用比较敏感的应用,在访问峰值的时候,偶尔会被kill掉,导致服务重启。发现是Linux的out-of-memory kiiler的机制触发的。...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:OOM Killer
举报原因:
原因补充:

(最多只允许输入30个字)