malloc 初始化_内存管理（23）VMA和malloc

最新推荐文章于 2023-10-22 17:57:39 发布
最新推荐文章于 2023-10-22 17:57:39 发布
阅读量371 收藏 2
点赞数
文章标签： malloc 初始化

VMA操作

应用进程申请内存空间通常使用malloc或者mmap来完成。我们知道在ARM32架构中0~3G的地址空间是分配给用户进程地址空间的。为了能在系统中(宏观上)同时运行多个进程，互不干扰操作系统想了一个办法，就是基于某一时刻只能运行一个进程的客观事实，系统为每个进程都准备了一套0~3G的虚拟地址空间，他们可以以各自特定的规则映射到物理空间。此刻哪儿个进程在运行就使用哪儿个进程的地址空间及映射关系，再加上写时分配机制的加成。这便有效的解决了进程在宏观上同时运行而绝不会互相干扰的问题。

综上所述，用户进程要申请到内存空间，首先要申请到一块合适的虚拟地址空间供物理地址映射。内核中使用VMA来表示这块虚拟地址空间单元。所以每个进程核心数据结构中都有一个管理VMA的数据结构struct vm_area_struct。

struct vm_area_struct数据结构

6e2dc8ffe49a035c54f8567fdffe1e1f.png

struct vm_area_struct数据结构1

583eb8fcd0156f939527ca4d248cd729.png

struct vm_area_struct数据结构2

666f38bb2a11bdaff0c1e3f4a6295ab5.png

struct vm_area_struct数据结构3

  • vm_start和vm_end:指定VMA进程地址空间的起始结束地址
  • vm_next和vm_prev：VMA连成一个链表
  • vm_rb:VMA作为一个节点加入红黑树，进程的struct mm_struct都有一颗红黑树mm->mm_rb管理这些节点
  • vm：指向该VMA所属进程struct mm_struct
  • vm_page_prot:VMA的访问权限
  • vm_flags：描述VMA的标志
  • anon_vma_chain和anon_vma：用于管理RMAP反向映射
  • vm_ops:指向方法的集合，操作VMA
  • vm_pgoff:指定文件映射的偏移量，这个变量的单位是页。对于匿名页来说它的值是0或者vm_addr/PAGE_SIZE
  • vm_file:指向file的实例，描述一个被映射的文件。

find_vma函数

查找满足如下2个条件之一的VMA：

  1. addr在VMA空间范围内的，vma->vm_start<=addr<=vma->vm_end;
  2. 距离addr最近并且vma->vm_end大于addr的VMA
7c5b278bb3bfb0877e4e4caae8828599.png

find_vma函数

  • 78行：在cache中看能否找到对应地址的vma，能找到直接返回
  • 84~94行：在红黑树中查找合适的VMA
  • 96行：更新cache，最后返回找到的vma

基于find_vma函数实现的还有find_vma_intersection用于查找与start_addr、end_addr重合的VMA；find_vma_prev返回查找到的VMA的前继节点

insert_vm_struct函数

87cd76d92874c10e4717cdae93f77df2.png

insert_vm_struct函数

  • 148行：find_vma_links查找插入位置，实现如下↓
  • 155行：vma_link会调用__vma_link函数把VMA插入红黑树和链表，这个函数很简单不做说明。

find_vma_links函数

5552f06a15dd1fbb2743af1654d489e7.png

find_vma_links函数

  • 165行：__rb_link：指向红黑树的根节点地址
  • 167~180行：在红黑树中查找合适的位置。vma_tmp->vm_end <= addr的不符合寻找条件，继续往右子树探测，如果vma_tmp->vm_end > addr表示符合了基本条件，但是如果vma_tmp->vm_start
  • 最后*rb_link指向待插入位置，*rb_parent表示待插入节点的父节点

malloc函数

19b79d352877119bcf64077b76d1607d.png

用户空间内存空间布局

f08093c30c47f47b362de8a27005c1dd.png

malloc函数-1

5a25717efa3aab0ad88ddf40b3778a86.png

malloc函数-2

  • 278行：基于用户空间的内存空间布局来理解该函数，min_brk表示堆的起始界限也就是数据段的结束位置。brk表示加上申请空间长度后临界线应该处在的位置，因为堆是从底部一直往上增长的，所以如果brk比堆起始位置还小肯定是不合法的。
  • 284~285行：堆的临界线页对齐处理，也就是侧面说明malloc申请的空间也会是页对齐的。
  • 290~294行：堆的新位置比旧位置还小那就是释放空间，调用do_munmap函数来释放空间。
  • 297行：以老边界地址找是否存在重合的vma，如果存在则不需要查找了直接返回。
  • 301行：do_brk函数申请分配内存，大小与页对齐

do_brk函数

302f149de08c2cc432cd77111c8b64df.png

do_brk函数-1

18c6bb1087b0a827942b83f01d340350.png

do_brk函数-2

bbcd80dcee85788773616c15960df521.png

do_brk函数-3

  • 336行：get_unmapped_area判读虚拟地址空间是否有足够的空间，返回一段没有被映射过的虚拟地址空间的起始地址，其中MAP_FIXED表示使用指定具体的虚拟地址对应空间
  • 337行：mlock特性长度检测
  • 347行：判断有没有可能合并附近的VMA，可以的或直接就可以跳转到out，否则只能新建VMA
  • 354~366行：创建VMA，并对齐初始化
  • 367行：将初始化好的VMA添加到红黑树和链表中vma_link这个函数前面介绍过。

回到malloc的系统调用brk函数中

  • 306行：flags是否置位VM_LOCKED,如果置位则调用mm_populate马上分配物理内存并建立映射关系

mm_populate->__mm_populate函数

d1a95d7c5ec497d9a785d9d446f7c79b.png

__mm_populate函数-1

8777e09ad103039a5e8470be15a96e92.png

__mm_populate函数-2

  • 399行：先查找vma，没找到就直接返回
  • 411行：__mlock_vma_pages_range为VMA分配物理内存，实现如下↓

__mlock_vma_pages_range函数

b064a6e0e0396f5391ba94c13c354ed4.png

__mlock_vma_pages_range函数

  • __get_user_pages函数为进程地址空间申请物理内存并建立映射关系

__get_user_pages函数

a07a977f52755bb5ffb9284b021f09c2.png

__get_user_pages函数-1

fd2f3b3ab77a56beb5c439e72e0b41cf.png

__get_user_pages函数-3

b241e80935dcd3f6494f19f2876db76a.png

__get_user_pages函数-4

  • 参数说明：tsk进程核心数据结构；mm进程内存管理核心数据结构；start进程地址空间VMA的起始地址；nr_pages需要分配的pages；gup_flags分配掩码；pages物理页面的二级指针;vmas：进程地址空间VMA；nonblocking:IO操作是否阻塞
  • find_extend_vma会调用find_vma查找VMA。如果vma_start大于start的地址会尝试扩增VMA的范围。如果前期要查找的VMA刚好在gate_vma中就使用gate_vma页面。
  • cond_resched();当前进程是否需要被调度，内核经常在循环中增加这个判断优化系统延迟。
  • follow_page_mask函数查看VMA中的物理页面是否已经分配了内存。函数实现细节如下↓
  • 如果fllow_page_mask分配内存失败，调用faultin_page->handle_mm_fault人为触发缺页中断

follow_page_mask函数

2d02dcd7012f64c63c633192b309cc00.png

follow_page_mask函数-1

cc429bbcba71032719303b6e6b7df277.png

follow_page_mask函数-2

  • 648行：通过mm和address得到当前进程页表对应的PGD目录项
  • 651行：通过PGD和address得到当前进程页表对应的PUD目录项
  • 658行：通过PUD和address得到当前进程页表对应的PMD目录项
  • 670行：调用follow_page_pte检查PTE页面，其实现如下↓

follow_page_pte函数

a9d1de710f56f672a09e90f9b3961838.png

follow_page_pte函数-1

  • 684行：检查pmd合法性
  • 686行：拿到对应的pte页面
  • 688~700行：pte不在内存中的处理。没有定义FOLL_MIGRATION的错误返回；pte_to_swp_entry函数合并交换页面到主内存；migration_entry_wait等待合并交换页面完成，等待完毕重试。
65c19ebdf0353dd99efbe169a2a672c6.png

follow_page_pte函数-2

  • 703行：如果pte是只读页面，flag却含有可写权限，也报错返回。
  • 708行：vm_normal_page函数根据pte返回normal mapping的page数据结构，实现细节如下↓
  • 716~722行：对一些指定标志的page做一些相应的加工处理。对于FOLL_GET的页面会增加page的_count计数；对于FOLL_TOUCH且标记是可写的且非脏的页mark_page_accessed标记为活跃
30308784700130d7ac147dd626a52794.png

follow_page_pte函数-3

  • 724~736行：对VM_LOCKED的page做一些加工处理，最后返回这个page

vm_normal_page函数

a1b06449afdc43836fd9559d3b7915e2.png

vm_normal_page函数-1

  • 755~765行：对于一些特殊映射的页面不返回page数据结构；对于定义了find_special_page函数指针，执行该指针继续检查；对于第0页和特殊映射的页面返回空；
b672fbe62d74f7a39317d0ddc8e4aeac.png

vm_normal_page函数-2

  • 768~783行：对于没有定义与前面类似HAVE_PTE_SPECIAL的情况。775行检测remap_pfn_range的情况。因为其pgoff通常指向第一个pfn；对于写时复制的页面正常返回page;对于0页不返回page结构；

综上：整个malloc的底层处理流程如下：

b8ee434eade7ccb8754e9984e1e991df.png

malloc底层处理流程

weixin_39520880
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C语言calloc()函数：分配内存空间并初始化
qq_63273144的博客
01-18 4625
头文件：#include <stdlib.h> calloc() 在内存中动态地分配 num 个长度为 size 的连续空间，并将每一个字节都初始化为 0。所以它的结果是分配了 num*size 个字节长度的内存空间，并且每个字节的值都是0。 【返回值】分配成功返回指向该内存的地址，失败则返回 NULL。 如果 size 的值为 0，那么返回值会因标准库实现的不同而不同，可能是 NULL，也可能不是，但返回的指针不应该再次被引用。 注意：函数的返回值类型是 void *，void 并不是
C语言数组初始化及malloc初始化
热门推荐
qinghuanduji的博客
05-06 1万+
前言 做笔试题的时候老有些小错误，来总结一下。 数组赋值初始化的三个方式 1、{0} 初始化 例如： int nums[3] = {0}; 但是经常出现的是给定长度（变量）然后需要进行初始化，如果写成下式： int main(){ int numsSize=0; scanf("%d",&numsSize); int nums[numsSize]={0}; } 则会出现以下报错信息： error: variable-sized object may not be initialize
vm_normal_page深入理解
dean_gdp的专栏
01-04 1657
其实这个函数的注释已经非常详细，细细品味分享自己的理解。对应的内核版本是4.14.129 ARM64. /* * vm_normal_page -- This function gets the "struct page" associated with a pte. * * "Special" mappings do not wish to be associated with a "s...
C语言—malloc动态内存管理
qq_30569341的博客
12-25 926
mallcon：申请动态内存空间,(int *)malloc(100)申请100个字节的int类型的空间；函数调用成功会返回一个(void *)类型的指针，它可以被转换成任何类型的数据，所以要用(int *)强制类型转换。free：当不需要这块内存的时候，要手动释放，不然可能会造成内存泄漏。malloc不会初始化申请的内存空间，需要手动初始化；
C语言malloc初始化问题
qq_16118409的博客
04-27 5201
前言 博主在刷Leetcode的时候经常头疼的是数组初始化问题。尤其是最近，经常会遇到数组访问溢出的问题。 大意就是说访问数组下标越界了，简直头疼得不得了。 今天就结合例子来总结一下： ## 1374. 生成每种字符都是奇数个的字符串 假如我们这样的话： （注意看malloc那一行代码） char * generateTheString(int n){ //if(n == 0) re...
【C++修理之路】内存管理
m0_69787428的博客
10-29 1320
自由存储区：C++层面上的术语，就是那些由new分配的内存块，他们的释放编译器不去管，由我们的应用程序去控制，一般一个new就要对应一个delete。如果程序员没有释放掉，那么在程序结束后，操作系统会自动回收。编译器要知道它调用了多少次析构函数，因此new申请空间的时候会多开4个字节的空间来知道它要调用多少次，这个空间存放它的调用个数delete释放p3的时候，编译器会-4字节，把这个10取出来就知道调用个数了delete释放的是一个对象不是多个对象，释放的位置从存放个数空间的位置开始释放，因此就会报错。
malloc 内存管理.zip_completerh6_malloc_stm32f407_内存管理
07-14
在这样的平台上实现`malloc`函数，可以为动态内存分配提供便利，但同时也需要考虑内存的有效管理和效率。 `malloc`函数是C语言标准库中的一个关键功能，用于在程序运行时动态地分配内存。在STM32F407这样的嵌入式...
mTrack.rar_Free!_malloc_mtrace_内存泄漏_嵌入式
07-15
嵌入式系统下内存泄漏检查库函数mTrace以及测试代码,有详细使用文档.这个是将malloc和free 函数控制起来,检查内存.
mem.rar_Free!_malloc_malloc和free_mem_free_mem_malloc
09-20
本主题聚焦于“malloc”和“free”这两个基本的内存分配和释放函数，以及如何实现自己的内存管理函数“mem_malloc”和“mem_free”。 “malloc”是C语言中的动态内存分配函数，它根据指定的大小从堆中分配内存。其...
结构体中动态内存的管理（malloc和free）
08-10
在C语言中，内存管理是程序设计中至关重要的一部分，它涉及到如何有效地分配和释放内存空间。`malloc`和`free`函数是C语言标准库提供的两个核心工具，用于动态内存的分配与释放。当我们处理包含指针的结构体时，这个...
malloclab_malloclab_malloclab_c_
10-02
在实现`calloc`时，需要考虑到初始化内存的需求，这可能会影响内存分配的策略。 3. `realloc(void* ptr, size_t size)`：这个函数用于改变已分配内存块的大小。它可以扩展或收缩已分配的内存，如果新分配的内存无法...
动态内存分配
m0_74343467的博客
03-22 1088
动态内存开辟详解和操作中可能出现的问题，还有柔性数组的概念。
malloc的使用
u013440514的专栏
08-11 456
首先说明一下，由malloc动态申请的内存空间是堆式的内存空间。 而静态的内存的空间是栈式的。   1.       大容量内存需求 网上说当我们需要的内存空间超过0.5兆的时候最好使用动态内存，也就是利用malloc来申请内存空间。可以这么认为，如果内存过大，就会不易管理，而malloc可以说事一个专业的内存管理者，但静态的则可以当成是一个业余的。毕竟术业有专攻。 2.       不
malloc用户态内存分配
生活需要深度
04-14 3228
学习完了用户进程地址空间，那么从本章开始学习下用户空间的内存分配。对于我们来说，对是进程中用于动态分配变量和数据的内存区域，堆的管理对应用程序员来说是不可见的。因为它依赖于标准库提供的各种辅助函数(malloc)来分配任意长度的内存区。使用malloc，相对于栈空间而言，堆内存面临着更为复杂的情况。那么malloc在堆上分配内存到底是如何实现的呢？主要内容包括如下： 堆的内存怎么从内核中申请 怎么有效地进行堆内存管理 1. malloc简介 malloc函数使C/C++中常用内存分配库函数，使用mallo
指针的动态初始化malloc与销毁free
u011555996的博客
03-01 3663
指针动态初始化： int *p = (int*)malloc(sizeof(int)*3);//初始化为指向3个元素的数组 if(!p) exit -1;//这个地方一定要进行判断，因为若动态初始化不成功，在使用p[0]、p[1]、p[2]时报错。 指针的销毁： free(p); p = NULL;//避免p为野指针，需要赋值为NULL //p中的值仍为原先的内存地址，此时要...
内存动态分配
minyangchina的专栏
08-21 594
 数组的元素存储于内存中连续的位置上。当一个数组被声明时，它所需要的内存在编译时就被分配。但是，你也可以使用动态内存分配在运行时为它分配内存。malloc所分配的是一块连续的内存。例如，如果请求它分配100个字节的内存，那么它实际分配的内存就是100个连续的字节，并不会分开位于两块或多块不同的内存。同时malloc实际分配的内存有可能比你请求的稍微多一点。但是，这个行为是由编译器决定的，所
linux内核的反复--一切都是过程
Netfilter
02-09 5786
1. ZERO_PAGE 2.6.24内核中剔除了ZERO_PAGE这个鸡肋，然而近期又准备添加近来，这样做的原因还是在于当初它为何被当成了鸡肋，当成鸡肋的原因就是当zero页面加入反向映射的时候会更新其page结构体的引用计数，从而造成了固定cacheline的冲刷，仅仅这一点就将zero页面当成了鸡肋未免也太残酷了吧，所以2.6.32内核着手寻找更好的方法，为zero页面平反，也就是尽力去除
Linux内存管理 (8)malloc
hbcbgcx的博客
03-21 293
https://www.cnblogs.com/arnoldlu/p/8329283.html 专题：Linux内存管理专题 关键词：malloc、brk、VMA、VM_LOCK、normal page、special page。 每章问答： malloc()函数是C函数库封装的一个核心函数，对应的系统调用是brk()。 1. brk实现 要了解brk的实现首先需要知道进程用户空间的划分，以及st...
【C语言】malloc()函数详解(动态内存开辟函数)
最新发布
C/C++领域,数据结构,linux,MySQl学习者
10-22 3万+
C语言库函数malloc()函数的功能,参数,返回值及具体使用详解.
lv_mem_malloc 和lv_malloc 的用法
09-05
lv_mem_malloc 和 lv_malloc 是 LittlevGL 图形库中用于动态内存分配的函数。 lv_mem_malloc 是一个通用的动态内存分配函数，用于在堆中分配指定大小的内存块。它的声明如下： ```c void *lv_mem_malloc(size_t ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值