mmap函数_内存管理（24）mmap和缺页中断

最新推荐文章于 2024-08-09 17:31:35 发布
最新推荐文章于 2024-08-09 17:31:35 发布
阅读量847 收藏
点赞数
文章标签： mmap函数 模拟请求分页管理中地址转换和缺页中断处理 模拟页式虚拟存储管理中硬件的地址转换与缺页中断

相关文件：

mm/mlock.c

mm/util.c

mm/mmap.c

include/linux/slab.h

mmap系统调用陷入内核中会调用vm_mmap_pgoff=>do_mmap_pgoff函数来真正完成mmap操作

1.1.do_mmap_pgoff函数(关键部分代码)

460036ffa7676056d514da06b332984c.png

do_mmap_pgoff

  • 16行：对需要映射的内存长度页对齐
  • 20行：get_unmapped_area返回需要映射的地址空间
  • 25行：建立映射关系，如果定义了VM_LOCKED还要立即申请物理内存，该函数的实现细节请看1.2小节

1.2.mmap_region函数(关键部分代码)

f25437b7f58a692a96c5eef94ef13c01.png

mmap_region

  • 40行：查找符合条件的vma
  • 46行：合并相邻的vma
  • 49行：如果没找到合适的vma则调用kmem_cache_zalloc申请一个vma结构，这个函数前面也说过
  • 51行：把初始化好的vma插入mm下的内存管理树结构
  • 55行：配置vma的访问权限

2.缺页中断(armv7架构)

相关文件：

mm/memory.c

arch/arm/mm/fault.c

缺页中断与具体的处理器架构密切相关。以ARM为例，页面转换失效和页面访问权限失效对应的核心处理函数为do_page_fault。

9fab9cc53a135103450f1beb52dfbc39.png

缺页中断基本流程

2.1.do_page_fault函数(关键部分)

0814df56f953fae1a9488be72bd07990.png

do_page_fault函数-1

  • 69行：处于中断上下文或者禁止抢占时跳转到no_context标签
  • 71行：用户空间添加FAULT_FLAG_USER标志
  • 73行：具备FSR_WRITE权限则添加FAULT_FLAG_WRITE标志
  • 76行：真正处理缺页中断的函数，详情看小节2.2
da566b83a7e3cc2fb2cc7abeb0e0d783.png

do_page_fault函数-2

  • 85行：不属于以上异常就说明缺页中断正常处理完成
  • 88行：缺页中断处理有异常发生，如果是内核空间跳转到no_context标签执行__do_kernel_fault函数
  • 90行：VM_FAULT_OOM则调用pagefault_out_of_memory发送OOM信号
  • 95行：用户空间则向进程发送SIGSEGV信号，进程中断
  • 99行：__do_kernel_fault函数发送Oops错误

2.2.__do_page_fault函数(关键部分)

61e901fcfc2c10776ca3338092ce75fa.png

__do_page_fault函数

  • 112行：查找vma
  • 115行：vma访问权限
  • 120行：缺页中断处理，详见2.3

2.3.__handle_mm_fault函数(关键部分)

17582713e264d31c1b63505dd75b237f.png

__handle_mm_fault函数

  • 141~148行：获取到addr所对应的PGD、PUD、PMD、PTE
  • 150行：handle_pte_fault处理缺页中断，详见2.4

2.4.handle_pte_fault函数(关键部分)

899fe2dbe1326898dffc980a2eb332af.png

handle_pte_fault函数-1

176行：如果页面不在内存中(还未映射真正的页)，调用pte_none177行：页面为空。对于文件映射通常会调用do_fault(详见2.6)；否则表示匿名映射则会调用do_anonymous_page(详见2.5)186行：页面不为空，表示正处于交换内存中，调用do_swap_page函数，详见2.7189行：写异常190行：如果pte为只读权限，调用do_swap_page函数193行：如果具备写属性，L_PTE_DIRTY置位
ce3951bacf6388ebb7c50afe34407d03.png

handle_pte_fault函数-2

  • 189行：设置L_PTE_YONG位
  • 190行：如果pte页面项有变化就要写入物理页面项，并更新TLB cache

2.5.do_anonymous_page函数

beee1afbce07e7f3713dc1a5c90f7d7a.png

do_anonymous_page函数-1

  • 225行：判断当前VMA是否需要增加一个guard page作为安全垫
  • 229~236行：对于只读的VMA，系统使用0号页面生成新的PTE entry，0号页面是在paging_init中初始化的，前面提过。使用pte_offset_map_lock能得到页表项。如果表项不为空则跳转到setpte处更新到硬件表中。
736c0290903278224f62f0ecee30e7c3.png

do_anonymous_page函数-2

241行：分配一个可写的匿名页面，最终调用伙伴系统的alloc_pages，优先选择高端内存254~256行：通过mk_xxx生成一个新的pte entry262行：inc_mm_counter_fast增加系统中匿名页面的引用计数263行增加到RMAP反向映射系统中265行：把匿名页添加到LRU链表中，kswap中会用到267行：设置pte entry到硬件页表中
c043cc436c329e959efc14cf92055208.png

do_anonymous_page函数-3

  • 270行：刷新TLB和cache

2.6.do_fault函数

910d27251f6793aadce2ced9f3c7df6f.png

do_fault函数

  • 300行：只读缺页异常，详见2.8小节
  • 303行：私有映射且发生写时拷贝缺页异常，详见2.9小节
  • 305行：公有映射写缺页异常，详见2.10小节

2.7.do_swap_page函数

与2.8和2.9类似

2.8.do_read_fault函数

static int do_read_fault(struct mm_struct *mm, struct vm_area_struct *vma,unsigned long address, pmd_t *pmd,pgoff_t pgoff, unsigned int flags, pte_t orig_pte){struct page *fault_page;if (vma->vm_ops->map_pages && fault_around_bytes >> PAGE_SHIFT > 1) {//拿到缺页异常地址addr所对应的ptepte = pte_offset_map_lock(mm, pmd, address, &ptl);/*以缺页异常地址为中心，从start_addr开始检查相应的pte是否为空，若为*空则从这个pte开始到max_pgoff为止使用map_pages()来映射PTE。这么做为*了提前建立缺页地址(进程地址空间)与(现存)page cache的映射关系，*减少缺页中断的次数从而提高效率。*/do_fault_around(vma, address, pte, pgoff, flags);//页面内容在刚刚被系统修改了，跳转到unlock_out标签if (!pte_same(*pte, orig_pte))goto unlock_out;pte_unmap_unlock(pte, ptl);}//为缺页异常地址分配page cache ret = __do_fault(vma, address, pgoff, flags, NULL, &fault_page);if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))return ret;//拿到映射好的缺页地址的PTEpte = pte_offset_map_lock(mm, pmd, address, &ptl);if (unlikely(!pte_same(*pte, orig_pte))) {pte_unmap_unlock(pte, ptl);unlock_page(fault_page);page_cache_release(fault_page);return ret;}//为PTE创建条目，并加入反向映射机制do_set_pte(vma, address, fault_page, pte, false, false);unlock_page(fault_page);unlock_out://放弃映射pte_unmap_unlock(pte, ptl);return ret;}

2.9.do_cow_fault函数

//省略部分错误判断static int do_cow_fault(struct mm_struct *mm, struct vm_area_struct *vma,unsigned long address, pmd_t *pmd,pgoff_t pgoff, unsigned int flags, pte_t orig_pte){pte_t *pte;int ret;if (unlikely(anon_vma_prepare(vma)))return VM_FAULT_OOM;//以GFP_HIGHUSER_MOVABLE分配掩码分配一个物理页面new_page = alloc_page_vma(GFP_HIGHUSER_MOVABLE, vma, address);if (mem_cgroup_try_charge(new_page, mm, GFP_KERNEL, &memcg)) {page_cache_release(new_page);return VM_FAULT_OOM;}//读取文件内容到fault_pageret = __do_fault(vma, address, pgoff, flags, new_page, &fault_page);if (unlikely(ret & (VM_FAULT_ERROR | VM_FAULT_NOPAGE | VM_FAULT_RETRY)))goto uncharge_out;if (fault_page)//拷贝内容到物理页面copy_user_highpage(new_page, fault_page, address, vma);__SetPageUptodate(new_page);//取得对应的PTEpte = pte_offset_map_lock(mm, pmd, address, &ptl);//为对应PTE创建条目再添加到反向映射机制do_set_pte(vma, address, new_page, pte, true, true);mem_cgroup_commit_charge(new_page, memcg, false);//物理页面加入LRU队列进行管理，内存回收会用到lru_cache_add_active_or_unevictable(new_page, vma);pte_unmap_unlock(pte, ptl);if (fault_page) {unlock_page(fault_page);page_cache_release(fault_page);} else {i_mmap_unlock_read(vma->vm_file->f_mapping);}return ret;uncharge_out:mem_cgroup_cancel_charge(new_page, memcg);page_cache_release(new_page);return ret;}

2.10.do_shared_fault函数

与2.8和2.9类似

2.11.do_fault_around函数

static void do_fault_around(struct vm_area_struct *vma, unsigned long address,pte_t *pte, pgoff_t pgoff, unsigned int flags){unsigned long start_addr, nr_pages, mask;pgoff_t max_pgoff;struct vm_fault vmf;int off;/*fault_around_bytes是一个全局变量，等于16个page的大小,所以此处nr_pages=16*/nr_pages = ACCESS_ONCE(fault_around_bytes) >> PAGE_SHIFT;//以16页对齐为步长计算掩码mask = ~(nr_pages * PAGE_SIZE - 1) & PAGE_MASK;//以16页对齐，取缺页地址和vm_start较大的那个为扫描PTE的起始地址start_addr = max(address & mask, vma->vm_start);/*PTRS_PER_PTE 表示每个PTE项所对应的条目数，此处为512也就是1个PTE对应512页*这一步相当于取缺页地址和start_addr的偏离(页数单位)的绝对值*/off = ((address - start_addr) >> PAGE_SHIFT) & (PTRS_PER_PTE - 1);//查找PTE的起始位置pte -= off;pgoff -= off;/* *  max_pgoff is either end of page table or end of vma *  or fault_around_pages() from pgoff, depending what is nearest. */max_pgoff = pgoff - ((start_addr >> PAGE_SHIFT) & (PTRS_PER_PTE - 1)) +PTRS_PER_PTE - 1;max_pgoff = min3(max_pgoff, vma_pages(vma) + vma->vm_pgoff - 1,pgoff + nr_pages - 1);/* Check if it makes any sense to call ->map_pages */while (!pte_none(*pte)) {if (++pgoff > max_pgoff)return;start_addr += PAGE_SIZE;if (start_addr >= vma->vm_end)return;pte++;}//找到为空的PTE，则从此处开始到max_pgoff映射PTEvmf.virtual_address = (void __user *) start_addr;vmf.pte = pte;vmf.pgoff = pgoff;vmf.max_pgoff = max_pgoff;vmf.flags = flags;vma->vm_ops->map_pages(vma, &vmf);}
weixin_39622643
关注
嵌入式系统中mmap函数详解
嵌入式技术开发
07-01 187
使用mmap处理大文件要注意一点，如果你的系统是32位的话，进程的地址空间就只有4G，这其中还有一部分预留给操作系统，因此在32位系统下可能不足以在你的进程地址空间中找到一块连续的空间来映射该文件，在64位系统下则无需担心地址空间不足的问题，这一点要注意。这个优势在于处理大文件场景，这里的大文件指的是文件的大小超过你的物理内存，在这种场景下如果你使用传统的read/write，那么你必须一块一块的把文件搬到内存，处理完文件的一小部分再处理下一部分。
第11讲-虚拟存储：缺页中断
05-25
内存管理 Linux 关于内存管理的所有。alloc()和mmap()等内存分配函数，在分配时只是建立了进程虚拟地址空间，并没有分配虚拟内存对应的物理内存。 当进程访问这些没有建立映射关系的虚拟内存时，处理器自动触发一个缺页异常。 缺页异常是Linux内存管理中最复杂和重要的一部分，需要考虑很多相关细节，包括匿名页面、KSM页面、page cache页面、写时复制、私有映射和共享映射等
一文看懂为什么mmap之后访问地址仍然发生了缺页异常？
youzhangjing_的博客
11-04 1009
但看了一下mmap的手册，说到MAP_POPULATE只能针对于MAP_PRIVATE映射（见mmap手册），比如用匿名页建立的映射，而此处因为是MAP_SHARED，无法用MAP_POPULATE,故此方案作罢。因为笔者先入为主的观念，把所有page fault都当成了缺页异常，而没有第一时间想到permission fault的可能，导致浪费了大量时间来分析remap_pfn_range的行为，虽然代码逻辑整理了不少，但一直没能进入核心要点。这一点突破以后，后面的分析和解决就是水到渠成的事情了。
Linux内存管理中锁使用分析及典型优化案例总结
最新发布
内核工匠
08-09 650
1技术背景 锁在Linux内存管理中起着非常重要的作用。一方面，锁在内存管理中保护了多线程的临界区并发处理; 另一方面，内存管理各种锁的使用在一些场景也会表现出性能问题。本文针对内核内存管理中典型的锁进行介绍及典型优化案例总结。本文分析基于Linux内核6.9版本(部分为低版本内核，会特别说明)。2内存管理中的锁 2.1PG_Locked Linux内核物理内存使用page进行管理，...
Linux mmap系统调用视角看缺页中断
GetnextWindow的专栏
08-07 667
实际开发过程中经常使用或者看到mmap函数，具体细节可以man mmap查看相关细节。这个系统调用是个多面手，应用空间申请内存（比如glibc库申请大内存使用的是mmap），还是读写大文件，链接动态库，多进程间共享内存都可以看到mmap的身影，要想真正的理解这个系统一方面是从这几种使用场景的需求上理解mmap，更重要的必须基于内核源码，深入剖析其每个参数具体对应的内核实现。内存拷贝次数以mmap映射文件场景来讲，mmap读写文件与read/write的相比少一次内存拷贝。
Linux 内核之 mmap 内存映射触发的缺页异常 Page Fault
neuHenry
06-03 1033
上一篇文章解释了什么是mmap内存映射及其在Linux内核中的实现原理，然后深入到源码中一步一步分析mmap在内核中的源码实现。mmap内存映射的核心就是在进程虚拟内存空间中为该次映射分配一段虚拟内存出来，然后将这段虚拟内存与磁盘文件建立映射关系。但此时内核并不会为映射分配物理内存，物理内存的分配工作需要延后到这段虚拟内存被CPU访问的时候，通过缺页中断来进入内核来分配物理内存，并在页表中建立好映射关系。那么，接下来就跟随笔者一步步深入源码，查看内核是如何分配物理内存并建立虚拟内存与物理内存之间映射关系的？
C++ mmap/munmap
nightwizard2030的博客
08-22 4403
很早以前就看过文件操作的另外一种方式：内存映射，后来一直忘了去补这个坑，今天有空试了试，感觉非常好，强大之处远远超出了想象。这个映射让文件操作像直接操作内存一样，变得非常简单，而且对于以前感觉很难解决的文件操作上变得是异常简单，比如多进程间的操作文件，文件锁，缓存文件之类的东西，做起来思路会更清晰很多。mmap的作用域应该很广吧，我猜测虚拟内存之类的东西，mmap是必不可少的吧。为啥子说这个东西很
【linux 内存管理】mmap.c文件代码分析do_mmap() 和 do_mmap_pgoff()
ElisabethSissi的博客
11-18 1670
mmap.c文件代码分析do_mmap_pgoff // An highlighted block unsigned long do_mmap_pgoff(struct file * file, unsigned long addr, unsigned long len, unsigned long prot, unsigned long flags, unsigned long pgoff) /*负责把磁盘文件的逻辑地址映射到虚拟地址，以及把虚拟址映射到物理地址。*/ /*do_mmap在mm.h
linux内存管理——mmap函数
weixin_45410402的博客
10-10 600
一. 概述 内存映射，简而言之就是将用户空间的一段内存区域映射到内核空间，映射成功后，用户对这段内存区域的修改可以直接反映到内核空间，相反，内核空间对这段区域的修改也直接反映用户空间。那么对于内核空间<---->用户空间两者之间需要大量数据传输等操作的话效率是非常高的。 mmap存在的意义就是减少了用户态和内核态数据的拷贝，这样能够大大提高效率。mmap函数把一个文件或者一个Posi...
页式虚拟存储管理中地址转换和缺页中断
09-05
代码中还包括了一些函数，如`initial()`用于初始化页面状态，`do_mmap()`用于处理地址映射，`do_page_fault()`用于处理缺页中断，`run_first_instruction()`和`run_a_instruction()`用于执行指令，以及`print_page_...
Linux内存管理之揭开mmap的神秘面纱
liuhangtiant的博客
09-02 1458
前言 我们首先来看一幅图 Linux内存管理的最底层是buddy内存管理方案，也就是我们常说的伙伴算法，管理伙伴算法我们不做详诉，有兴趣的可以自行百度，我们这里只要知道buddy内存池中只能分配2^n个page的内存，比如1,2,4,8……个pages，然而正常使用的时候不会碰巧就需要1,2,4,8……个pages。所以基于buddy内存池，还需要有上一级的内存管理系统，内核里面采用的是slab...
用FIFO和LRU算法处理缺页中断（C语言）
11-06
实现功能： 1、模拟分页式存储管理中硬件的士转换和产生缺页中断 2、用先进先出（FIFO）页面调度算法处理缺页中断 3、用最近最少用（LRU）页面调度算法处理缺页中断
缺页中断LRU算法模拟实现——vector（c++）
weixin_43482279的博客
05-07 601
为了练习vector专门使用的，所以有些复杂。记录一下，后续有时间可能会增加简便的模拟算法实现。 缺页中断FIFO算法模拟实现——vector（c++） 原理 和名字一样，最近最久未使用页面置换算法 实现 下面以 {2,3,2,1,5,2,4,5,3,2,5,2}为申请装入的页号, 页表大小为3。 在FIFO算法基础上，只需要PageFault()函数内，对存在内存里的页数visit中改变一下...
缺页中断FIFO算法模拟实现——vector（c++）
weixin_43482279的博客
05-07 1095
为了练习vector专门使用的，所以有些复杂。记录一下，后续有时间可能会增加简便的模拟算法实现。 原理：先进先出 下面以 {2,3,2,1,5,2,4,5,3,2,5,2}为申请装入的页号, 页表大小为3。 准备 vector v 存储所要访问的页面 ：{2,3,2,1,5,2,4,5,3,2,5,2} vector p 内存中页表 ：这里为3块空间 vector time 内存中页面进...
Linux缺页中断处理
鲲的博客
08-29 975
缺页中断处理 do_page_fault ->__do_page_fault ->handle_mm_fault ->__handle_mm_fault ->handle_pte_fault ->do_fault //文件页 mmap方式访问 ->do_anonymous_page //匿名页 ->do_swap_page //在swap中 -&g
c++ linux mmap函数使用
weixin_47123165的博客
08-31 297
mmap
内存管理（四）：缺页中断处理（读奔跑吧linux内核笔记）
zuodenghuakai的博客
04-11 2794
一：缺页中断处理 在调用malloc后只建立了虚拟地址空间，没有分配内存对应的物理内存，当进程访问没有建立映射关系的虚拟内存时，会产生缺页中断（考虑的问题比较多：匿名页面，KSM页面，pagecache页面，写时复制，私有映射，共享映射）。 缺页异常处理依赖于处理器的体系架构，因此缺页异常底层的处理流程在内核代码中的特定结构部分。 __vectors_start是中断异常处理的起点，具体到缺...
C++/C--mmap()详解
热门推荐
Jensen Lee的博客
06-10 1万+
文章目录1 概念2 条件、参数说明及返回说明2.1 条件2.2 参数说明2.3 返回说明3 特点4 系统调用5 范例6 结论7 其他 1 概念 mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。 头文件： #include <sys/mman.h> 函数原型： void* mmap(void* start,size_t length,int prot,int fla
linux内存映射函数mmap shm_open
09-05
mmap函数是用于在Linux中将文件或设备映射到进程的地址空间的函数。它允许进程直接访问这些映射区域，就像访问内存一样。mmap函数的原型如下： ```c void *mmap(void *addr, size_t length, int prot, int flags, ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值