OOM机制

已于 2022-09-18 10:38:09 修改
阅读量1.5k 收藏 3
点赞数
分类专栏： 操作系统 文章标签： OOM
于 2022-07-20 10:31:59 首次发布
本文链接：https://blog.csdn.net/m0_37844072/article/details/125859904
版权
当Linux系统内存不足时，会触发OOM（Out of Memory）杀手机制。该机制首先尝试回收内存，若仍不足则通过评分机制选择并杀死高分进程。文章详细分析了OOM触发条件、内存状态、评分标准以及内核源码中的相关函数，展示了如何通过`/proc`目录下的文件观察系统内存状态，并讨论了如何配置和手动触发OOM。
摘要由CSDN通过智能技术生成
  • 背景：程序在做升级的时候，发现RAM不够用了---->比如RAM一共有 200M(free -m命令可查看总的内存)，用的只剩大概5M（这个参数是通过/proc/sys/vm/min_free_kbytes参数配置）的时候，----->发现任意正在运行的进程会触发linux的oom-killer的机制，然后dmesg会打印进程的一些相关信息----->在通过linux内部的打分机制，为每个进程打分，得分最高的进程被杀死，从而为RAM提供空间。
  • 进程因为OOM被杀死，dmesg会打印如下结果，OOM的机制如下： 

1.oom的触发条件：

  • 系统无法给应用程序分配物理内存。
  • oom kill体现的是：应用层程序申请内存成功，但是运行时无法满足的情况。即malloc成功（malloc并不会去直接的操作物理内存），但是用的时候发现物理内存不足。（申请内存首先是申请的虚拟内存，使用时再映射到物理内存，并不是直接操作物理内存。所以会出现malloc成功，但使用内存的时候进程被杀掉。）
  • 触发 out of memory 
<4>[  551.701040] test invoked oom-killer: gfp_mask=0x201da, order=0, oom_score_adj=0
<4>[  551.701062] CPU: 0 PID: 1691 Comm: test Tainted: G           O   3.18.48 #1

2.打印调用堆栈

<4>[  551.701095] [<c0013ca0>] (unwind_backtrace) from [<c0011d0c>] (show_stack+0x10/0x14)
<4>[  551.701114] [<c0011d0c>] (show_stack) from [<c079126c>] (dump_header+0x7c/0xc0)
<4>[  551.701132] [<c079126c>] (dump_header) from [<c009ba10>] (oom_kill_process+0xa8/0x450)
<4>[  551.701148] [<c009ba10>] (oom_kill_process) from [<c009c23c>] (out_of_memory+0x280/0x30c)
<4>[  551.701163] [<c009c23c>] (out_of_memory) from [<c00a03b8>] (__alloc_pages_nodemask+0x890/0x90c)
<4>[  551.701178] [<c00a03b8>] (__alloc_pages_nodemask) from [<c009a88c>] (filemap_fault+0x280/0x4b4)
<4>[  551.701194] [<c009a88c>] (filemap_fault) from [<c00bc868>] (__do_fault+0x34/0x90)
<4>[  551.701208] [<c00bc868>] (__do_fault) from [<c00bf418>] (do_read_fault+0x19c/0x288)
<4>[  551.701222] [<c00bf418>] (do_read_fault) from [<c00bfc1c>] (handle_mm_fault+0x3d8/0x898)
<4>[  551.701237] [<c00bfc1c>] (handle_mm_fault) from [<c0016a38>] (do_page_fault+0x11c/0x378)
<4>[  551.701252] [<c0016a38>] (do_page_fault) from [<c0008618>] (do_PrefetchAbort+0x34/0x128)
<4>[  551.701265] [<c0008618>] (do_PrefetchAbort) from [<c0012d48>] (ret_from_exception+0x0/0x18)
<4>[  551.701274] Exception stack(0xcb76dfb0 to 0xcb76dff8)
<4>[  551.701285] dfa0:                                     b5dfde1c b5dfd60c 000004a0 00000002
<4>[  551.701298] dfc0: b5dfde20 b5dfde1c 000004a0 b5dfd60c 00000000 000306d8 b5dfd554 000004a0
<4>[  551.701309] dfe0: 00016f44 b5dfd470 00011c04 4cb64f00 80070010 ffffffff

3. 打印每个进程当前的参数(..省略一些进程) 

<4>[  551.701317] Mem-info:
<4>[  551.701325] Normal per-cpu:
<4>[  551.701333] CPU    0: hi:   42, btch:   7 usd:  22
<4>[  551.701349] active_anon:27711 inactive_anon:32 isolated_anon:0
<4>[  551.701349]  active_file:82 inactive_file:136 isolated_file:0
<4>[  551.701349]  unevictable:0 dirty:0 writeback:0 unstable:0
<4>[  551.701349]  free:393 slab_reclaimable:1326 slab_unreclaimable:3406
<4>[  551.701349]  mapped:70 shmem:469 pagetables:773 bounce:0
<4>[  551.701349]  free_cma:0
<4>[  551.701381] Normal free:1572kB min:1572kB low:1964kB high:2356kB active_anon:110844kB inactive_anon:128kB active_file:328kB inactive_file:544kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:256000kB managed:155528kB mlocked:0kB dirty:0kB writeback:0kB mapped:280kB shmem:1876kB slab_reclaimable:5304kB slab_unreclaimable:13624kB kernel_stack:4056kB pagetables:3092kB unstable:0kB bounce:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:5244 all_unreclaimable? yes
<4>[  551.701389] lowmem_reserve[]: 0 0
<4>[  551.701399] Normal: 13*4kB (UER) 8*8kB (UMR) 1*16kB (R) 1*32kB (R) 0*64kB 1*128kB (R) 1*256kB (R) 0*512kB 1*1024kB (R) 0*2048kB 0*4096kB = 1572kB
<4>[  551.701431] 695 total pagecache pages
<4>[  551.701440] 0 pages in swap cache
<4>[  551.701448] Swap cache stats: add 0, delete 0, find 0/0
<4>[  551.701455] Free swap  = 0kB
<4>[  551.701461] Total swap = 0kB
<4>[  551.703198] 42752 pages of RAM
<4>[  551.703208] 1124 free pages
<4>[  551.703215] 3870 reserved pages
<4>[  551.703221] 3594 slab pages
<4>[  551.703228] 209 pages shared
<4>[  551.703234] 0 pages swap cached
<6>[  551.703243] [ pid ]   uid  tgid total_vm      rss nr_ptes swapents oom_score_adj name

...
...
...
<6>[  551.704003] [20364]     0 20364      738       30       4        0             0 hello
<6>[  551.704015] [20365]     0 20365    19363    15108      41        0             0 UpdateAPP


评分机制
<3>[  551.704024] Out of memory: Kill process 20365 (UpdateAPP) score 377 or sacrifice child
<3>[  551.704036] Killed process 20365 (UpdateAPP) total-vm:77452kB, anon-rss:60412kB, file-rss:20kB

参数解释

  • total-vm ：进程使用的总的虚拟内存。
  • anon-rss：匿名内存，比如malloc出来的就是匿名的。当前在进程中为RAM分配的内存量。
  •  file-rss：映射到设备和文件上的内存页面

 rss（Resident Set Size）：指明了当前实际占用了多少内存， 实际使用物理内存（包含共享库占用的全部内存）

rss = 15108 * 4 （rss的值*4KB）= anon-rss:60412kB + file-rss:20kB = 60432KB(见评分机制)

4. 评分机制：

内核会给每个进程评分，在系统内存不足的时候，选一个分最高的进程，然后去kill这个进程。  (可以看到UpdateAPP进程的分最高，kill这个进程)

<3>[  551.704024] Out of memory: Kill process 20365 (UpdateAPP) score 377 or sacrifice child
<3>[  551.704036] Killed process 20365 (UpdateAPP) total-vm:77452kB, anon-rss:60412kB, file-rss:20kB

..

  •  linux的out_of_memory()函数源码
  • OOM源码:当触发OOM机制会进入__out_of_memory函数
static void __out_of_memory(struct zonelist *zonelist, gfp_t gfp_mask,
        int order, nodemask_t *nodemask, bool force_kill)   {

……
    check_panic_on_oom(constraint, gfp_mask, order, mpol_mask); 检查打开OOM没
……
	p = select_bad_process(&points, totalpages, mpol_mask, force_kill); 选择一个进程
	/* Found nothing?!?! Either we hang forever, or we panic. */
	if (!p) {
		dump_header(NULL, gfp_mask, order, NULL, mpol_mask);
		panic("Out of memory and no killable processes...\n");
	}
	if (p != (void *)-1UL) {
		oom_kill_process(p, gfp_mask, order, points, totalpages, NULL,
				 nodemask, "Out of memory");  杀掉这个进程
		killed = 1;
	}

……
}
  • 查看是否打开了OOM机制 
void check_panic_on_oom(enum oom_constraint constraint, gfp_t gfp_mask,
            int order, const nodemask_t *nodemask)
{
    if (likely(!sysctl_panic_on_oom))
        return;
    if (sysctl_panic_on_oom != 2) {
        if (constraint != CONSTRAINT_NONE)
            return;                                                  
    }
    dump_header(NULL, gfp_mask, order, NULL, nodemask);
    panic("Out of memory: %s panic_on_oom is enabled\n",
        sysctl_panic_on_oom == 2 ? "compulsory" : "system-wide");
}

内核中sysctl_panic_on_oom变量是和/proc/sys/vm/panic_on_oom对应的，可通过如下命令查看

$ cat /proc/sys/vm/panic_on_oom

对应的参数是如下几种

  •  oom_kill_allocating_task来配置OOM机制杀谁

(1)谁触发了OOM就干掉谁

(2)谁最“坏”就干掉谁

  •  评分机制
select_bad_process--->
    调用oom_badness
    {
		dump_header(p, gfp_mask, order, memcg, nodemask);  -----打印调用堆栈

...
    	if (adj == OOM_SCORE_ADJ_MIN) { ------如果在评分之前设置这个进程的评分为OOM_SCORE_ADJ_MIN 那么就不杀这个进程
		task_unlock(p);
		return 0;
	    }
     ...
    }

  • 在设置前可先查看cat /proc/<pid>/oom_score_adj
  • 可通过 echo -1000 > /proc/<pid>/oom_score_adj 来禁止此程序被kill
  • 显示内存
void show_mem(unsigned int filter)
{
	int free = 0, total = 0, reserved = 0;
	int shared = 0, cached = 0, slab = 0;
	struct memblock_region *reg;

	printk("Mem-info:\n");
	show_free_areas(filter);

	for_each_memblock (memory, reg) {
		unsigned int pfn1, pfn2;
		struct page *page, *end;

		pfn1 = memblock_region_memory_base_pfn(reg);
		pfn2 = memblock_region_memory_end_pfn(reg);

		page = pfn_to_page(pfn1);
		end  = pfn_to_page(pfn2 - 1) + 1;

		do {
			total++;
			if (PageReserved(page))
				reserved++;
			else if (PageSwapCache(page))
				cached++;
			else if (PageSlab(page))
				slab++;
			else if (!page_count(page))
				free++;
			else
				shared += page_count(page) - 1;
			pfn1++;
			page = pfn_to_page(pfn1);
		} while (pfn1 < pfn2);
	}

	printk("%d pages of RAM\n", total);
	printk("%d free pages\n", free);---------显示可用的内存扇区数*4KB = 可用内存
	printk("%d reserved pages\n", reserved);
	printk("%d slab pages\n", slab);
	printk("%d pages shared\n", shared);
	printk("%d pages swap cached\n", cached);
}

  • 如何手动触发OOM
  • cat /proc/sys/vm/panic_on_oom

这个值为 0 表示在OOM时系统执行OOM Killer
这个值为 1 表示在OOM时系统会panic(恐慌)

  •  一些参数

系统所保留空闲内存的最低限：/proc/sys/vm/min_free_kbytes参数

当系统可用内存（不包含buffer和cache）小于这个值的时候，系统会启动内核线程kswapd来对内存进行回收，如果内存回收后发现内存还是不够，就会触发oom killer，则表明内存真的不够用了。或者在内存回收前或者回收中直接触发了oom killer。

  • 运行逻辑

linux内存管理（十四）-内存OOM触发分析_小坚学Linux的博客-CSDN博客_linux 内存oom

L7256
关注
专栏目录
Linux内存从0到1学习笔记(9.9 内存优化调试之oom_kill触发机制）
从0到1，突破自己
04-26 6483
Out Of Memory Killer或OOM Killer是内核中一种用于在系统内存紧张的情况下，防止内存耗尽并自动查杀进程的机制。
Linux内存管理（六十）：内核OOM机制详解
私房菜
10-19 1373
在 buddy系统慢速分配 一文中，我们分析了从快速分配流程无法分配到内存之后，会进入慢速分配流程。通过降低水位等方式修改 alloc_flags，尝试唤醒kswapd，并尝试再次分配；修改ac 的nodemask，并再次尝试分配；直接内存回收之后的尝试分配；直接内存规整之后的尝试分配；reclaim retry、compact retry 之后的尝试分配；如果经过这些努力之后还是无法分配到内存时，内核采取最后的极端分配：OOM。
oom原理分析
芋圆＿钰源
08-14 1590
OOM原理分析 12/30. 2013 OOM全称是Out Of Memory，指的是kernel因分配不出内存而报的错误，同时会触发kernel调用OOM killer杀进程来解除这种状况。 OOM发生的条件一般有两个： 1. VM里面分配不出更多的page（注意linux kernel是延迟分配page策略，及用到的时候才alloc；所以malloc + mem
Linux kernel OOM机制详解
最新发布
专注于系统快稳省领域
08-09 1037
OOM机制（Out of Memory Killer）是Linux内核中的一种内存管理机制，用于在系统物理内存耗尽时选择并杀死一个或多个进程，以释放内存并防止系统崩溃。当系统无法满足新的物理内存分配请求，并且所有其他内存回收机制（如内存规整、页帧回收等）都失败时，OOM Killer会被触发。
oom 机制
qazw9600的专栏
04-25 2354
说明 在linux系统上有时内核打印会出现oom信息，并伴随着某个进程被kill掉，在嵌入式设备等低内存设备上容易出现。 理解 oom 是"out of memry"的缩写，意思是内存资源不足，打印该信息的是操作系统内核中用来保证操作系统在内存不足情况下自身正常运行的一种机制。 该机制会时刻给进程评分，当系统可用物理内存低于内核预设阈值时，会kill掉一些评分较高的进程来释放内存，保证操作系...
Linux内核OOM机制分析
weixin_34405354的博客
07-06 285
最近在工作中遇到下面的问题：active_anon:16777 inactive_anon:13946 isolated_anon:0active_file:14 inactive_file:37 isolated_file:0unevictable:0 dirty:0 writeback:0 unstable:0free:2081 slab_reclaimable:299 ...
OOM 机制
本末实验室
01-13 560
这是关于 Linux 内核的学习笔记，重点要了解 OOM 这块的相关知识点。
一文分析Linux内核OOM机制（值得收藏）
m0_74282605的博客
12-07 1029
Linux内核根据应用程序的要求分配内存，通常来说应用程序分配了内存但是并没有实际全部使用，为了提高性能，这部分没用的内存可以留作它用，这部分内存是属于每个进程的，内核直接回收利用的话比较麻烦，所以内核采用一种过度分配内存（over-commit memory）的办法来间接利用这部分“空闲”的内存，提高整体内存的使用效率。一般来说这样做没有问题，但当大多数应用程序都消耗完自己的内存的时候麻烦就来了，因为这些应用程序的内存需求加起来超出了物理内存（包括swap）的容量，内核（OOM killer）必须杀掉一些
linux内核oom,Linux内核OOM机制的详细分析
weixin_42511832的博客
05-01 3446
Linux内核有个机制叫OOMkiller(Out-Of-Memorykiller)，该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况是：某天一台机器突然ssh远程登录不了，但能ping通，说明不是网络的故障，原因是sshd进程被OOMkiller杀掉了(多次遇到这样的假死状况)。重启机器后查看系统日志/var/log/mes...
Linux OOM机制详解
langzi989的专栏
04-01 1720
Linux OOM机制说明 在工作过程中，你可能会遇到过这种情况，程序在运行一段时间之后突然挂掉，在你保证程序在正常情况下不会挂掉的情况下，程序挂掉的原因可能是在你的程序运行过程中，有一段时间你的程序运行内存过大，而此时系统物理内存不足，导致系统触发OOM killer机制，将该进程kill。 1、OOM killer机制 OOM killer是out-of-memory killer的缩写，...
Linux内核OOM机制的详细分析
Linuxhus的博客
02-22 571
Linux内核根据应用程序的要求分配内存，通常来说应用程序分配了内存但是并没有实际全部使用，为了提高性能，这部分没用的内存可以留作它用，这部分内存是属于每个进程的，内核直接回收利用的话比较麻烦，所以内核采用一种过度分配内存（over-commit memory）的办法来间接利用这部分“空闲”的内存，提高整体内存的使用效率。一般来说这样做没有问题，但当大多数应用程序都消耗完自己的内存的时候麻烦就来了，因为这些应用程序的内存需求加起来超出了物理内存（包括swap）的容量，内核（OOM killer）必须杀掉一些
Linux OOM机制介绍
czmmiao的专栏
06-06 2930
  Linux系统运行过程中，有时候会在message中看到Out of memory，并kill某个进程的信息。这篇文章讲的就是OOM机制的原理以及其核心配置参数。 内核版本基于centos6使用的linux-2.6.32。 OOM(Out Of Memory)机制为Linux内核中一种自我保护机制，当系统分配不出内存时(触发条件)会触发这个机制，由系统在已有进程中挑选一个占用内存较多，...
linux下的OOM机制
渀波儿灞
09-05 322
OOM(Out Of Memory)机制为Linux内核中一种自我保护机制，当系统分配不出内存时(触发条件)会触发这个机制，由系统在已有进程中挑选一个占用内存较多，回收内存收益最大的进程杀掉来释放内存。 参考：http://blog.chinaunix.net/uid-29634482-id-5127275.html ...
什么是OOM，为什么会OOM及一些解决方法
pan_junbiao的博客
07-03 2772
OOM，全称“Out Of Memory”，翻译成中文就是“内存用完了”，来源于java.lang.OutOfMemoryError。看下关于的官方说明： Thrown when the Java Virtual Machine cannot allocate an object because it is out of memory, and no more memory could be made available by the garbage collector. 意思就是说，当JVM因为没有足够的
jvm minorGC fullGC oom的触发条件
iefjovi的专栏
02-14 568
看图,图很清楚了 [align=left][img]http://dl2.iteye.com/upload/attachment/0115/0711/75a8139f-c3e3-31fe-8c96-3ac7b97b0de7.png[/img][/align] from: [url]http://www.360doc.com/content/14/0508/18/11965070_37...
linux oom是什么意思
07-27
Linux OOM（Out of Memory）是指系统内存耗尽的情况。当系统中的可用内存不足以满足当前运行的程序所需的内存时，Linux内核会触发OOM机制来选择并终止某个进程，以释放内存并保证系统的稳定性。这个机制通常被用来避免系统崩溃或出现无法处理的问题。 OOM机制通过在内核中设置一个OOM分数来决定哪个进程将被终止。分数越高的进程，被终止的概率就越大。通常，系统会选择那些消耗大量内存或者没有明确OOM调度策略的进程作为终止目标。被终止的进程将收到一个OOM killer信号，以便做一些清理工作或记录日志。 当系统遇到OOM情况时，可能会触发一些系统级别的处理机制，如重启或触发Panic。为了避免OOM问题，可以通过增加系统内存、优化程序的内存使用、调整内核参数等方式来减少OOM事件的发生。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值