mmap内核源码分析

最新推荐文章于 2024-05-22 08:00:00 发布
最新推荐文章于 2024-05-22 08:00:00 发布
阅读量3.2k 收藏 5
点赞数 2
分类专栏： Linux内核分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FreeeLinux/article/details/58318656
版权

对于mmap函数，我之前的理解太单一了。这几天好好复习了一下以前学过的知识，重新对该函数有了新的认识。

之前我的认识是，mmap是用来映射内存的，它映射的内存来自磁盘上文件。所以我以为malloc函数底层也映射文件内存。后来一直想不通。

实际上，mmap函数再malloc底层实现中采用了匿名映射（就是这个匿名映射，我之前一直概念不清）。

先说下malloc调用mmap一般的形式：

//原型
//mmap(void* start, size_t length, int prot, int flags, int fd, off_t offset);

addr = mmap(NULL, 4096, PROT_READ|PORT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0);

对于malloc映射匿名内存来说，必须是以页为单位的，比如上面的4096。用户进程向内核空间分配内存都是直接向伙伴系统要的。在此基础上glibc将内存细化为可以按照字节分配的方式。

匿名内存的显著特征，MAP_ANONYMOUS，以及文件描述符fd传递-1。

下面开始剖析源码，看看匿名内存与文件映射有什么不一样。

mmap的系统调用时sys_mmap2，实际上就是一个简单转调用：

asmlinkage long sys_mmap2(unsigned long addr, unsigned long len,
    unsigned long prot, unsigned long flags,
    unsigned long fd, unsigned long pgoff)
{
    return do_mmap2(addr, len, prot, flags, fd, pgoff);
}

do_mmap2，代码如下：‘

static inline long do_mmap2(
    unsigned long addr, unsigned long len,
    unsigned long prot, unsigned long flags,
    unsigned long fd, unsigned long pgoff)
{
    int error = -EBADF;
    struct file * file = NULL;  //呵呵，注意这里file指针初始为NULL

    flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
    if (!(flags & MAP_ANONYMOUS)) {//MAP_ANONYMOUS设成1，表示没有文件，实际上只是用来"圈地"
        file = fget(fd);//获取file结构
        if (!file)
            goto out;
    }

//所以上面的步骤，如果我们设置了MAP_ANONYMOUS，那么不会用fd获取实际的文件，以后file指针仍然为NULL

    down(t->mm->mmap_sem);
    error = do_mmap_pgoff(file, addr, len, prot, flags, pgoff);  //传入file=NULL
    up(¤t->mm->mmap_sem);

    if (file)
        fput(file);
out:
    return error;
}

inline函数do_mmap()，是供内核自己用的，它也是将已打开文件映射到当前进程空间。代码为：

static inline unsigned long do_mmap(struct file *file, unsigned long addr,
    unsigned long len, unsigned long prot,
    unsigned long flag, unsigned long offset)
{
    unsigned long ret = -EINVAL;
    if ((offset + PAGE_ALIGN(len)) < offset)
        goto out;
    if (!(offset & ~PAGE_MASK))
        ret = do_mmap_pgoff(file, addr, len, prot, flag, offset >> PAGE_SHIFT);  //没得说，file还是NULL
out:
    return ret;
}

两者都调用，do_mmap_pgoff，代码如下：

unsigned long do_mmap_pgoff(struct file * file, unsigned long addr, unsigned long len,
    unsigned long prot, unsigned long flags, unsigned long pgoff)
{
    struct mm_struct * mm = current->mm;
    struct vm_area_struct * vma;
    int correct_wcount = 0;
    int error;

    .....//各种判断，先忽略
    if (flags & MAP_FIXED) {
        if (addr & ~PAGE_MASK)
            return -EINVAL;
    } else {//MAP_FIXED为0，就表示指定的映射地址只是一个参考值，不能满足时可以由内核给分配一个
        addr = get_unmapped_area(addr, len);//当前进程的用户空间中分配一个起始地址
        if (!addr)
            return -ENOMEM;
    }

    /* Determine the object being mapped and call the appropriate
     * specific mapper. the address has already been validated, but
     * not unmapped, but the maps are removed from the list.
     */
    vma = kmem_cache_alloc(vm_area_cachep, SLAB_KERNEL);//映射到一个特定的文件也是一种属性，属性不同的区段不能共存于同一逻辑区间，所以总要为之单独建立一个逻辑区间
    if (!vma)
        return -ENOMEM;

    vma->vm_mm = mm;
    vma->vm_start = addr;//起始地址
    vma->vm_end = addr + len;//结束地址
    vma->vm_flags = vm_flags(prot,flags) | mm->def_flags;

    if (file) {//设置vma->flags
        VM_ClearReadHint(vma);
        vma->vm_raend = 0;

        if (file->f_mode & FMODE_READ)
            vma->vm_flags |= VM_MAYREAD | VM_MAYWRITE | VM_MAYEXEC;
        if (flags & MAP_SHARED) {
            vma->vm_flags |= VM_SHARED | VM_MAYSHARE;

            /* This looks strange, but when we don't have the file open
             * for writing, we can demote the shared mapping to a simpler
             * private mapping. That also takes care of a security hole
             * with ptrace() writing to a shared mapping without write
             * permissions.
             *
             * We leave the VM_MAYSHARE bit on, just to get correct output
             * from /proc/xxx/maps..
             */
            if (!(file->f_mode & FMODE_WRITE))
                vma->vm_flags &= ~(VM_MAYWRITE | VM_SHARED);
        }
    } else {
        vma->vm_flags |= VM_MAYREAD | VM_MAYWRITE | VM_MAYEXEC;
        if (flags & MAP_SHARED)
            vma->vm_flags |= VM_SHARED | VM_MAYSHARE;
    }
    vma->vm_page_prot = protection_map[vma->vm_flags & 0x0f];
    vma->vm_ops = NULL;
    vma->vm_pgoff = pgoff;//所映射内容在文件中的起点，有了这个起点，发生缺页异常时，就可以根据虚拟地址计算出相应页面在文件中的位置
    vma->vm_file = NULL;
    vma->vm_private_data = NULL;

    /* Clear old maps */
    error = -ENOMEM;
    if (do_munmap(mm, addr, len))//检查目标地址在当前进程的虚拟空间是否已经在使用，如果已经在使用就要将老的映射撤销，要是这个操作失败，则goto free_vma。因为flags的标志位为MAP_FIXED为1时，并未对此检查。
        goto free_vma;

    /* Check against address space limit. */
    if ((mm->total_vm << PAGE_SHIFT) + len //虚拟空间的使用是否超出了为其设置的下限
        > current->rlim[RLIMIT_AS].rlim_cur)
        goto free_vma;

    /* Private writable mapping? Check memory availability.. */
    if ((vma->vm_flags & (VM_SHARED | VM_WRITE)) == VM_WRITE &&//物理页面数是否够
        !(flags & MAP_NORESERVE)                 &&
        !vm_enough_memory(len >> PAGE_SHIFT))
        goto free_vma;

    if (file) {
        if (vma->vm_flags & VM_DENYWRITE) {
            error = deny_write_access(file);//排斥常规文件操作，如read write 
            if (error)
                goto free_vma;
            correct_wcount = 1;
        }
        vma->vm_file = file;//重点哦
        get_file(file);
        error = file->f_op->mmap(file, vma);//指向了generic_file_mmap
        if (error)
            goto unmap_and_free_vma;
    } else if (flags & MAP_SHARED) {
        error = shmem_zero_setup(vma);
        if (error)
            goto free_vma;
    }

    /* Can addr have changed??
     *
     * Answer: Yes, several device drivers can do it in their
     *         f_op->mmap method. -DaveM
     */
    flags = vma->vm_flags;
    addr = vma->vm_start;

    insert_vm_struct(mm, vma);//插入到对应的队列中
    if (correct_wcount)
        atomic_inc(&file->f_dentry->d_inode->i_writecount);

    mm->total_vm += len >> PAGE_SHIFT;
    if (flags & VM_LOCKED) {//仅在加锁时才调用make_pages_present
        mm->locked_vm += len >> PAGE_SHIFT;
        make_pages_present(addr, addr + len);
    }
    return addr;//最后返回的起始虚拟地址,一般是后12位为0

unmap_and_free_vma:
    if (correct_wcount)
        atomic_inc(&file->f_dentry->d_inode->i_writecount);
    vma->vm_file = NULL;
    fput(file);
    /* Undo any partial mapping done by a device driver. */
    flush_cache_range(mm, vma->vm_start, vma->vm_end);
    zap_page_range(mm, vma->vm_start, vma->vm_end - vma->vm_start);
    flush_tlb_range(mm, vma->vm_start, vma->vm_end);
free_vma:
    kmem_cache_free(vm_area_cachep, vma);
    return error;
}

哈哈，我关注的重点来了，这个函数get_unmapped_area，是用来给进程找到一块VMA的，来看看它干了什么：

unsigned long
get_unmapped_area(struct file *file, unsigned long addr, unsigned long len,
        unsigned long pgoff, unsigned long flags)
{
    unsigned long (*get_area)(struct file *, unsigned long,
                  unsigned long, unsigned long, unsigned long);

    get_area = current->mm->get_unmapped_area;  //默认使用当前进程虚存管理对应的get_unmapped_ared函数，这里只是从进程地址空间获得VMA
    if (file && file->f_op && file->f_op->get_unmapped_area)   //匿名映射文件指针依旧为空
        get_area = file->f_op->get_unmapped_area;  //如果文件指针不为NULL，使用文件对应的get_unmapped_area函数，这里就是从文件获得VMA
    addr = get_area(file, addr, len, pgoff, flags);
    if (IS_ERR_VALUE(addr))
        return addr;

    if (addr > TASK_SIZE - len)
        return -ENOMEM;
    if (addr & ~PAGE_MASK)  //PAGE_MASK低12位都是0，这里是用来检测是否是整页面，如果不是则出错
        return -EINVAL;

    return arch_rebalance_pgtables(addr, len);
}

唉，真相大白。匿名映射就是file=NULL。

get_unmmaped_ared函数解开了我的疑惑，该函数实现的内核对于匿名文件映射和文件映射的选择。使用函数指针，要么赋值mm->get_unmapped_area从进程地址空间获得VMA，要么从file->f_op->get_unmapped_ared获得VMA。

并没有做实际的内存分配，只是简单的获取了一片VMA。获取VMA是调用find_vma()函数在vma_ared_struct的双链表中查找，并且匿名映射还有可能和紧挨着的VMA合并。

当CPU第一个引用mmap区域的页面时，会引发缺页中断，内核会在物理存储器中找到一个合适的牺牲页面，如果该页面被修改过，就将这个页面换出来，用二进制零覆盖牺牲页面并更新页表，将这个页面标记为是驻留在存储器中的。注意在磁盘和存储器之间并没有实际的数据传送。因为这个原因，映射到匿名文件的区域的页面有时也叫做请求二进制零的页（demand zero page)。

另外，由于使用mmap分配内存，内核需要清零页面，并且mmap分配的内存都是页对齐的，所以使用mmap有一定的消耗。所以glibc才设定大于128k使用mmap，一般使用sbrk()函数分配内存。

参考：

  1. Linux内核源代码情景分析-系统调用mmap()。
  2. Linux内核分析之进程地址空间。
  3. linux mmap函数详解。
  4. CSAPP, Randal E.Byant David R.O.Hallaron著，龚奕利，雷迎春译。
FreeeLinux
关注
专栏目录
mmap内核源码分析，基于内核版本3.10（二）
SweeNeil
11-09 995
在之前写了一篇mmap内核源码分析，基于内核版本3.10，经过几天再来回顾发现还是没能学习透彻，所以再写一篇（二） mmap内核源码分析，基于内核版本3.10（一）博客地址： https://blog.csdn.net/SweeNeil/article/details/83685812 我们接着从一中的get_unmapped_area函数讲起，get_unmaped_area函数定义如下所...
mmap内核源码分析，基于内核版本3.10（一）
SweeNeil
11-03 2269
最近项目需要使用到mmap，因此对mmap内核中的实现进行学习，该博客基于Linux-3.10，相近版本可以做参考，如果版本跨度大需结合对应版本来进行学习。 一个用户态程序可以通过调用libc中的mmap()，将一个已打开文件的内容映射到它的用户空间。 mmap用户态函数原型：mmap(void *start, size_t length, int prot, int flags, int f...
mmap 源码分析
yizhiniu_xuyw的专栏
02-21 702
mmap 源码分析 准备 函数原型 虚拟内存区域管理 The Memory Descriptor(内存描述符) Virtual Memory Area(虚拟内存区域描述符) mmap映射执行流程 源码分析 do_mmap() mmap_region() 匿名映射 总结 Q&A 准备 内核版本: 4.20.1 上一篇Linux环境写文件如何稳定跑满磁盘I-O带宽我们使用了mmap来帮助我们写文件稳定的跑满了磁盘I/O，这篇我们来详细介绍
mmap源码分析
lggbxf的博客
06-28 1297
函数原型 void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); 虚拟内存管理 从内核的角度来看，虚拟空间的管理是以进程为基础的，每个进程都有自己的虚存空间，除此之外，每个进程的内核空间是所有进程共享的。一个进程的虚拟空间由两个数据结构来描述mm_struct和...
mmap内核源码分析，基于内核版本3.10（总结）
SweeNeil
11-10 531
通过（一）、（二）、（三）三部分算是比较混乱的把mmap内核代码给梳理了一遍，确实写得比较混乱，因此这里再做一个总结，总结一下mmap具体的实现。 1、系统调用陷入内核 1）用户态调用mmap函数，陷入内核 mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset) 2）系统调用sys_mmap2...
mmap内核源码分析，基于内核版本3.10（三）
SweeNeil
11-10 564
之前写了（一）（二）其实就梳理到了get_unmapped_area的内容，而且有一点混乱，这里进行第三篇的讲解，讲解在do_mmap_pgoff中除了get_unmapped_area的内容，来了解mmap的具体实现。通过（一）（二）（三）来将mmap内核源码进行一次梳理。可能过程有一点乱，所以最后准备写一篇总结来总结mmap这样一个流程。 （一）https://blog.csdn.net/S...
Linux的mmap 源码分析
jackingzheng的专栏
12-23 1980
Linux的mmap 源码分析 1、mmap基础概念 mmap() 将文件或设备映射到内存中。这是一种内存映射文件I / O的方法，实现用户进程和内核空间的映射。 1.1 功能特点： mmap分为文件映射和匿名映射 文件映射：将进程的虚拟内存区域映射到文件。即读取那些内存区域将导致文件被读取，这是默认的映射类型。 匿名映射：会映射该进程的虚拟内存中没有任何文件支持的区域，内容初始化为零。系统都通过MAP_ANONYMOUS和MAP_ANON标志实现了匿名映射，但它并不是POSIX标准的一部分。 1.2
Linux 内核之 mmap 内存映射的原理及源码解析
最新发布
neuHenry
05-22 2635
mmap 的全称是 memory map，中文意思是内存映射或地址映射，是 Linux 操作系统中的一种系统调用，其作用是将一个文件或者其它对象映射到进程的虚拟地址空间，实现磁盘地址和进程虚拟地址空间一段虚拟地址的一一对应关系。通过 mmap 系统调用我们可以让进程之间通过映射到同一个普通文件实现共享内存，普通文件被映射到进程虚拟地址空间当中后，进程可以像访问普通内存一样对文件进行一系列操作，而不需要通过 I/O 系统调用来读取或写入。
计算机底层知识拾遗（九）深入理解内存映射mmap
ITer_ZC的专栏
03-16 8493
内存映射mmap是Linux内核的一个重要机制，它和虚拟内存管理以及文件IO都有直接的关系，这篇细说一下mmap的一些要点。 mmap和虚拟内存管理 先来看看Linux内核的用户进程虚拟内存管理。内核定义了mm_struct结构来表示一个用户进程的虚拟内存地址空间。 1. start_code, end_code指定了进程的代码段的边界，start_data, end_dat
Linux内核源代码情景分析-系统调用mmap()
jltxgcy的专栏
03-09 4939
一个进程可以系统调用mmap()，将一个已打开文件的内容映射到它的用户空间，其用户界面为：    mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset)。    参数fd代表着一个已打开文件，offset为文件中的起点，而start为映射到用户空间中的起始地址，length则为长度。还有两个参数prot
【Linux 内核 内存管理】mmap 系统调用源码分析 ④ ( do_mmap 函数执行流程 | do_mmap 函数源码 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-17 1187
一、do_mmap 函数执行流程、 二、do_mmap 函数源码
Linux内核mmap机制
hbcbgcx的博客
03-21 631
https://blog.csdn.net/ptonlix/article/details/79298575 1. 问：如何将物理地址映射到用户空间的虚拟地址上？ 2.linux内核mmap机制 2.1.回顾LED驱动数据流的操作过程 通过分析LED驱动，得出以下结论： 如果利用read,write,ioctl三个系统调用函数实现对LED硬件进行操作，这三个系统调用函数操作数据最终要经过两次数据...
linux内核之情景分析mmap操作
weixin_30787531的博客
10-27 162
进程可以通过mmap把一个已打开文件映射到用户空间.mmap(void*start,size_t length,int prot,int flags,int fd,off_t offset)start表示用户空间映射的起始地址,offset文件的起始length长度.asmlinkage long sys_mmap2(unsigned long addr, unsigned long len, u...
【Linux 内核源码分析】内存映射(mmap)机制原理
C/C++Linux、音视频、DPDK
02-19 1381
内存映射(mmap)是 Linux 内核的一个重要机制，它为程序提供了一种将文件内容直接映射到进程虚拟地址空间的方式。同时内存映射也是虚拟内存管理和文件 IO 的重要组成部分。在 Linux 中，虚拟内存管理是基于内存映射来实现的。在调用 mmap 函数时，会创建一个结构体，该结构体代表了一段连续的虚拟地址空间，它们会相应地映射到一个后备文件或者一个匿名文件的虚拟页。一个结构体映射到一组连续的页表项，这些页表项指向物理内存中的一页。这样就把一个文件和物理内存页相映射起来。当进程试图访问映射到。
内存管理源码分析-mmap函数在内核的运行机制以及源码分析
qq_38350702的博客
09-14 962
linux
Linux内核源码分析 (B.11) 从内核世界透视 mmap 内存映射的本质（原理篇）
嵌入式点灯砖家的博客
09-19 358
本文笔者从五个角度为大家详细介绍了 mmap 的使用方法及其在内核中的实现原理，这五个角度分别是：私有匿名映射，其主要用于进程申请虚拟内存，以及初始化进程虚拟内存空间中的 BSS 段，堆，栈这些虚拟内存区域。私有文件映射，其核心特点是背后映射的文件页在多进程之间是读共享的，多个进程对各自虚拟内存区的修改只能反应到各自对应的文件页上，而且各自的修改在进程之间是互不可见的，最重要的一点是这些修改均不会回写到磁盘文件中。
【Linux 内核 内存管理】mmap 系统调用源码分析 ⑤ ( mmap_region 函数执行流程 | mmap_region 函数源码 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-17 1317
一、mmap_region 函数执行流程、 1、检查内存申请是否合法、 2、创建 " 虚拟内存区域 "、 二、mmap_region 函数源码
深入理解Linux内核：源码分析指南
"《Linux内核源码情景分析》是一本深度剖析Linux内核的经典教材，通过源代码的角度详细讲解了内核的运行机制。作者毛德操和胡希明在书中详细介绍了Linux内核的基础知识、存储管理、中断、异常、系统调用、进程与进程...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值