malloc 初始化_内存管理（23）VMA和malloc

最新推荐文章于 2023-10-22 17:57:39 发布
最新推荐文章于 2023-10-22 17:57:39 发布
阅读量425 收藏 2
点赞数
文章标签： malloc 初始化

VMA操作

应用进程申请内存空间通常使用malloc或者mmap来完成。我们知道在ARM32架构中0~3G的地址空间是分配给用户进程地址空间的。为了能在系统中(宏观上)同时运行多个进程，互不干扰操作系统想了一个办法，就是基于某一时刻只能运行一个进程的客观事实，系统为每个进程都准备了一套0~3G的虚拟地址空间，他们可以以各自特定的规则映射到物理空间。此刻哪儿个进程在运行就使用哪儿个进程的地址空间及映射关系，再加上写时分配机制的加成。这便有效的解决了进程在宏观上同时运行而绝不会互相干扰的问题。

综上所述，用户进程要申请到内存空间，首先要申请到一块合适的虚拟地址空间供物理地址映射。内核中使用VMA来表示这块虚拟地址空间单元。所以每个进程核心数据结构中都有一个管理VMA的数据结构struct vm_area_struct。

struct vm_area_struct数据结构

6e2dc8ffe49a035c54f8567fdffe1e1f.png

struct vm_area_struct数据结构1

583eb8fcd0156f939527ca4d248cd729.png

struct vm_area_struct数据结构2

666f38bb2a11bdaff0c1e3f4a6295ab5.png

struct vm_area_struct数据结构3

  • vm_start和vm_end:指定VMA进程地址空间的起始结束地址
  • vm_next和vm_prev：VMA连成一个链表
  • vm_rb:VMA作为一个节点加入红黑树，进程的struct mm_struct都有一颗红黑树mm->mm_rb管理这些节点
  • vm：指向该VMA所属进程struct mm_struct
  • vm_page_prot:VMA的访问权限
  • vm_flags：描述VMA的标志
  • anon_vma_chain和anon_vma：用于管理RMAP反向映射
  • vm_ops:指向方法的集合，操作VMA
  • vm_pgoff:指定文件映射的偏移量，这个变量的单位是页。对于匿名页来说它的值是0或者vm_addr/PAGE_SIZE
  • vm_file:指向file的实例，描述一个被映射的文件。

find_vma函数

查找满足如下2个条件之一的VMA：

  1. addr在VMA空间范围内的，vma->vm_start<=addr<=vma->vm_end;
  2. 距离addr最近并且vma->vm_end大于addr的VMA
7c5b278bb3bfb0877e4e4caae8828599.png

find_vma函数

  • 78行：在cache中看能否找到对应地址的vma，能找到直接返回
  • 84~94行：在红黑树中查找合适的VMA
  • 96行：更新cache，最后返回找到的vma

基于find_vma函数实现的还有find_vma_intersection用于查找与start_addr、end_addr重合的VMA；find_vma_prev返回查找到的VMA的前继节点

insert_vm_struct函数

87cd76d92874c10e4717cdae93f77df2.png

insert_vm_struct函数

  • 148行：find_vma_links查找插入位置，实现如下↓
  • 155行：vma_link会调用__vma_link函数把VMA插入红黑树和链表，这个函数很简单不做说明。

find_vma_links函数

5552f06a15dd1fbb2743af1654d489e7.png

find_vma_links函数

  • 165行：__rb_link：指向红黑树的根节点地址
  • 167~180行：在红黑树中查找合适的位置。vma_tmp->vm_end <= addr的不符合寻找条件，继续往右子树探测，如果vma_tmp->vm_end > addr表示符合了基本条件，但是如果vma_tmp->vm_start
  • 最后*rb_link指向待插入位置，*rb_parent表示待插入节点的父节点

malloc函数

19b79d352877119bcf64077b76d1607d.png

用户空间内存空间布局

f08093c30c47f47b362de8a27005c1dd.png

malloc函数-1

5a25717efa3aab0ad88ddf40b3778a86.png

malloc函数-2

  • 278行：基于用户空间的内存空间布局来理解该函数，min_brk表示堆的起始界限也就是数据段的结束位置。brk表示加上申请空间长度后临界线应该处在的位置，因为堆是从底部一直往上增长的，所以如果brk比堆起始位置还小肯定是不合法的。
  • 284~285行：堆的临界线页对齐处理，也就是侧面说明malloc申请的空间也会是页对齐的。
  • 290~294行：堆的新位置比旧位置还小那就是释放空间，调用do_munmap函数来释放空间。
  • 297行：以老边界地址找是否存在重合的vma，如果存在则不需要查找了直接返回。
  • 301行：do_brk函数申请分配内存，大小与页对齐

do_brk函数

302f149de08c2cc432cd77111c8b64df.png

do_brk函数-1

18c6bb1087b0a827942b83f01d340350.png

do_brk函数-2

bbcd80dcee85788773616c15960df521.png

do_brk函数-3

  • 336行：get_unmapped_area判读虚拟地址空间是否有足够的空间，返回一段没有被映射过的虚拟地址空间的起始地址，其中MAP_FIXED表示使用指定具体的虚拟地址对应空间
  • 337行：mlock特性长度检测
  • 347行：判断有没有可能合并附近的VMA，可以的或直接就可以跳转到out，否则只能新建VMA
  • 354~366行：创建VMA，并对齐初始化
  • 367行：将初始化好的VMA添加到红黑树和链表中vma_link这个函数前面介绍过。

回到malloc的系统调用brk函数中

  • 306行：flags是否置位VM_LOCKED,如果置位则调用mm_populate马上分配物理内存并建立映射关系

mm_populate->__mm_populate函数

d1a95d7c5ec497d9a785d9d446f7c79b.png

__mm_populate函数-1

8777e09ad103039a5e8470be15a96e92.png

__mm_populate函数-2

  • 399行：先查找vma，没找到就直接返回
  • 411行：__mlock_vma_pages_range为VMA分配物理内存，实现如下↓

__mlock_vma_pages_range函数

b064a6e0e0396f5391ba94c13c354ed4.png

__mlock_vma_pages_range函数

  • __get_user_pages函数为进程地址空间申请物理内存并建立映射关系

__get_user_pages函数

a07a977f52755bb5ffb9284b021f09c2.png

__get_user_pages函数-1

fd2f3b3ab77a56beb5c439e72e0b41cf.png

__get_user_pages函数-3

b241e80935dcd3f6494f19f2876db76a.png

__get_user_pages函数-4

  • 参数说明：tsk进程核心数据结构；mm进程内存管理核心数据结构；start进程地址空间VMA的起始地址；nr_pages需要分配的pages；gup_flags分配掩码；pages物理页面的二级指针;vmas：进程地址空间VMA；nonblocking:IO操作是否阻塞
  • find_extend_vma会调用find_vma查找VMA。如果vma_start大于start的地址会尝试扩增VMA的范围。如果前期要查找的VMA刚好在gate_vma中就使用gate_vma页面。
  • cond_resched();当前进程是否需要被调度，内核经常在循环中增加这个判断优化系统延迟。
  • follow_page_mask函数查看VMA中的物理页面是否已经分配了内存。函数实现细节如下↓
  • 如果fllow_page_mask分配内存失败，调用faultin_page->handle_mm_fault人为触发缺页中断

follow_page_mask函数

2d02dcd7012f64c63c633192b309cc00.png

follow_page_mask函数-1

cc429bbcba71032719303b6e6b7df277.png

follow_page_mask函数-2

  • 648行：通过mm和address得到当前进程页表对应的PGD目录项
  • 651行：通过PGD和address得到当前进程页表对应的PUD目录项
  • 658行：通过PUD和address得到当前进程页表对应的PMD目录项
  • 670行：调用follow_page_pte检查PTE页面，其实现如下↓

follow_page_pte函数

a9d1de710f56f672a09e90f9b3961838.png

follow_page_pte函数-1

  • 684行：检查pmd合法性
  • 686行：拿到对应的pte页面
  • 688~700行：pte不在内存中的处理。没有定义FOLL_MIGRATION的错误返回；pte_to_swp_entry函数合并交换页面到主内存；migration_entry_wait等待合并交换页面完成，等待完毕重试。
65c19ebdf0353dd99efbe169a2a672c6.png

follow_page_pte函数-2

  • 703行：如果pte是只读页面，flag却含有可写权限，也报错返回。
  • 708行：vm_normal_page函数根据pte返回normal mapping的page数据结构，实现细节如下↓
  • 716~722行：对一些指定标志的page做一些相应的加工处理。对于FOLL_GET的页面会增加page的_count计数；对于FOLL_TOUCH且标记是可写的且非脏的页mark_page_accessed标记为活跃
30308784700130d7ac147dd626a52794.png

follow_page_pte函数-3

  • 724~736行：对VM_LOCKED的page做一些加工处理，最后返回这个page

vm_normal_page函数

a1b06449afdc43836fd9559d3b7915e2.png

vm_normal_page函数-1

  • 755~765行：对于一些特殊映射的页面不返回page数据结构；对于定义了find_special_page函数指针，执行该指针继续检查；对于第0页和特殊映射的页面返回空；
b672fbe62d74f7a39317d0ddc8e4aeac.png

vm_normal_page函数-2

  • 768~783行：对于没有定义与前面类似HAVE_PTE_SPECIAL的情况。775行检测remap_pfn_range的情况。因为其pgoff通常指向第一个pfn；对于写时复制的页面正常返回page;对于0页不返回page结构；

综上：整个malloc的底层处理流程如下：

b8ee434eade7ccb8754e9984e1e991df.png

malloc底层处理流程

weixin_39520880
关注
DPDK 内存管理
fengcai_ke的博客
07-06 669
dpdk 内存管理
Linux内存管理（三）：内存与内存分布
私房菜
06-27 1100
在上一篇博文页面查询过程简述中，简单阐述了处理器访问页面的基本原理，以ARMv8 为例简单介绍了分页的机制。这一篇会接着继续阐述进程在编译时和运行时，其内存的分布情况。最后简单阐述x86 64位系统的虚拟地址分布以及在arm64 系统中虚拟地址的分布情况。
进程地址空间VMA以及malloc
laughing_zou的专栏
08-29 2157
进程空间的VMA结构体中由两个成员，红黑树以及链表，表示其组织方式由两种： 红黑树：   链表类型： 有了上面的图例，下面简单讲一下malloc的分配原理： 首先malloc是通过系统调用brk来完成内存分配的： SYSCALL_DEFINE1(brk, unsigned long, brk)------------（1） { unsigned long retval; ...
C语言malloc初始化问题
qq_16118409的博客
04-27 5294
前言 博主在刷Leetcode的时候经常头疼的是数组初始化问题。尤其是最近，经常会遇到数组访问溢出的问题。 大意就是说访问数组下标越界了，简直头疼得不得了。 今天就结合例子来总结一下： ## 1374. 生成每种字符都是奇数个的字符串 假如我们这样的话： （注意看malloc那一行代码） char * generateTheString(int n){ //if(n == 0) re...
C语言数组初始化及malloc初始化
热门推荐
qinghuanduji的博客
05-06 1万+
前言 做笔试题的时候老有些小错误，来总结一下。 数组赋值初始化的三个方式 1、{0} 初始化 例如： int nums[3] = {0}; 但是经常出现的是给定长度（变量）然后需要进行初始化，如果写成下式： int main(){ int numsSize=0; scanf("%d",&numsSize); int nums[numsSize]={0}; } 则会出现以下报错信息： error: variable-sized object may not be initialize
内存动态分配
minyangchina的专栏
08-21 618
 数组的元素存储于内存中连续的位置上。当一个数组被声明时，它所需要的内存在编译时就被分配。但是，你也可以使用动态内存分配在运行时为它分配内存。malloc所分配的是一块连续的内存。例如，如果请求它分配100个字节的内存，那么它实际分配的内存就是100个连续的字节，并不会分开位于两块或多块不同的内存。同时malloc实际分配的内存有可能比你请求的稍微多一点。但是，这个行为是由编译器决定的，所
（十三）Linux内存管理之vma/malloc/mmap
weixin_38428439的博客
01-13 752
1. 概述 这篇文章，让我们来看看用户态进程的地址空间情况，主要会包括以下： vma; malloc; mmap; 进程地址空间中，我们常见的代码段，数据段，bss段等，实际上都是一段地址空间区域。Linux将地址空间中的区域称为Virtual Memory Area， 简称VMA，使用struct vm_area_struct来描述。 在进行内存申请和映射时，都会去地址空间中申请一段虚拟地址区域，而这部分操作也与vma关系密切，因此本文将vma/malloc/mmap三个放到一块来进行分析。 开
malloc是如何实现内存分配的？【通俗易懂】
weixin_44545838的博客
09-18 764
在C和C++中，malloc函数是用于动态分配内存的常用函数。本文将深入探究malloc函数的内存分配实现机制，详细介绍其工作原理和实现细节。
malloc实现过程
qq_36087425的博客
07-01 625
前言 最近重温深入理解计算机系统，看到了malloc的实现，malloc主要涉及到两个系统调用brk和mmap.废话不多说直接上源码，一切尽在源码之中。 brk系统调用的入口函数为sys_brk() sys_brk系统调用源码 SYSCALL_DEFINE1(brk, unsigned long, brk) { unsigned long retval; unsigned long...
malloc 初始化_关于内存分配malloc、calloc、realloc的区别
weixin_39998998的博客
11-28 1791
(1) malloc()在内存的动态存储区中分配一块长度为size字节的连续区域，参数size为需要内存空间的长度，返回该区域的首地址(2) calloc()与malloc相似,参数sizeOfElement为申请地址的单位元素长度,numElements为元素个数，即在内存中申请numElements*sizeOfElement字节大小的连续地址空间.(3) realloc()给一个已经分配了地...
内存管理API之vma_pages
jason的笔记
02-06 674
inline unsigned long vma_pages(struct vm_area_struct *vma) 用户计算虚拟区间vma中包含多少个页 其源码分析如下： static inline unsigned long vma_pages(struct vm_area_struct *vma) { return (vma->vm_end - vma->vm_start) >> PAGE
Linux 内存管理窥探（15）：虚拟内存 VMA 浅析
StephenZhou
04-24 7733
在32位的系统上，线性地址空间可达到4GB，这4GB一般按照3:1的比例进行分配，也就是说用户进程享有前3GB线性地址空间，而内核独享最后1GB线性地址空间。由于虚拟内存的引入，每个进程都可拥有3GB的虚拟内存，并且用户进程之间的地址空间是互不可见、互不影响的，也就是说即使两个进程对同一个地址进行操作，也不会产生问题。在前面介绍的一些分配内存的途径中，无论是伙伴系统中分配页的函数，还是slab分配...
指针的动态初始化malloc与销毁free
u011555996的博客
03-01 3845
指针动态初始化： int *p = (int*)malloc(sizeof(int)*3);//初始化为指向3个元素的数组 if(!p) exit -1;//这个地方一定要进行判断，因为若动态初始化不成功，在使用p[0]、p[1]、p[2]时报错。 指针的销毁： free(p); p = NULL;//避免p为野指针，需要赋值为NULL //p中的值仍为原先的内存地址，此时要...
内存学习3 vma研究
shipinsky的博客
01-25 302
结合 linux内存管理之用户态内存管理 http://blog.csdn.net/shipinsky/article/details/78221511 一起学习 | vma0 | | vma1 | | vma2 | start0 end0 start1 end1
malloc的使用
u013440514的专栏
08-11 507
首先说明一下，由malloc动态申请的内存空间是堆式的内存空间。 而静态的内存的空间是栈式的。   1.       大容量内存需求 网上说当我们需要的内存空间超过0.5兆的时候最好使用动态内存，也就是利用malloc来申请内存空间。可以这么认为，如果内存过大，就会不易管理，而malloc可以说事一个专业的内存管理者，但静态的则可以当成是一个业余的。毕竟术业有专攻。 2.       不
free命令及显示的简易理解
timelvke的博客
10-13 2127
前言 free命令及显示的简易理解； 一、free命令 Linux free命令用于显示内存状态。 free指令会显示内存的使用情况，包括实体内存，虚拟的交换文件内存，共享内存区段，以及系统核心使用的缓冲区等。 语法 free [-bkmotV][-s <间隔秒数>] 参数说明： -b 　以Byte为单位显示内存使用情况。 -k 　以KB为单位显示内存使用情况。 -m 　以MB为单位显示内存使用情况。 -h 　以合适的单位显示内存使用情况，最大为三位数，自动计.
调用malloc时发生了什么（2） - sys_brk函数与VMA
Network/Storage/Linux Kernel
01-20 1216
调用malloc时发生了什么（2） - sys_brk函数 在上一篇中我们讲过，malloc实际调用了brk函数完成堆的分配，也了解了进程的内存布局。现在我们来看看，进程的内存布局到底是怎么实现的。具体如何堆指针增加减少的。增加减少，堆进程的影响是什么？一系列的问题等着我们去解决。 sys_brk函数（去掉了与本篇无关的代码） SYSCALL_DEFINE1(brk, unsigned
【C语言】malloc()函数详解(动态内存开辟函数)
最新发布
C/C++领域,数据结构,linux,MySQl学习者
10-22 4万+
C语言库函数malloc()函数的功能,参数,返回值及具体使用详解.
vm_normal_page深入理解
dean_gdp的专栏
01-04 1714
其实这个函数的注释已经非常详细，细细品味分享自己的理解。对应的内核版本是4.14.129 ARM64. /* * vm_normal_page -- This function gets the "struct page" associated with a pte. * * "Special" mappings do not wish to be associated with a "s...
自制内存分配器：实现mem_malloc和mem_free功能
实现`mem_malloc`和`mem_free`意味着开发者需要自定义内存分配和释放的机制，这通常是为了优化性能、调试内存错误或者学习内存管理的底层原理。 C语言标准库中的`malloc`函数原型为： ```c void *malloc(size_t ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值