内存管理基础学习笔记 - 2. 内核地址空间 - vmalloc

1. 前言

本专题我们开始学习内存管理部分，本文主要关注内核地址空间的管理部分，主要包括buddy管理，slab，以及非连续物理内存分配vmalloc。本文为vmalloc的学习笔记。
vmalloc主要分配那些虚拟地址连续，而物理地址不要求连续的内存块。vmalloc底层调用的仍然为buddy系统，只不过vmalloc不像slab那样分配的是多个页面的连续物理内存，而是每次只通过alloc_page分配一个页面，因此物理地址是不连续的。另外，由于vmalloc分配的物理页面映射到vmalloc映射区，而非内核线性区，因此需要主动为分配的页面创建映射。
注：内核线性区的页表在启动阶段已经创建
本文主要参考了《奔跑吧, Linux内核》、ULA、ULK的相关内容。
此处我们再次贴上在 《内存管理基础-1.概述》的地址空间映射图

通过上图，可以看出vmalloc映射区（VMALLOC_START~VMALLOC_END）所在的区域

kernel版本：5.10
平台：arm64

2. 主要数据结构

• vmap_area
  描述一段虚拟地址的区域，可以将struct vm_struct构成一个链表，维护多段映射。它的va_start和va_end指向vmalloc区域一段虚拟地址空间的起始和结束地址。它通过list连入全局vmap_area_list链表或rb_node红黑树
• vm_struct
  管理虚拟地址和物理页之间的映射关系，它通过addr指向vmalloc区域一段虚拟地址空间的起始地址，它通过pages指向page数组，这些page一般是不连续的，通过buddy分配一个页面得来。

3. vmalloc

vmalloc(unsigned long size)
    \--__vmalloc_node(size, 1, GFP_KERNEL, NUMA_NO_NODE,__builtin_return_address(0))
           \--__vmalloc_node_range(size, align, VMALLOC_START, VMALLOC_END,
                                  gfp_mask, PAGE_KERNEL, 0, node, caller)
                  |--struct vm_struct *area
                  |--area = __get_vm_area_node(real_size, align, VM_ALLOC | VM_UNINITIALIZED |
                  |               vm_flags, start, end, node, gfp_mask, caller)
                  \--addr = __vmalloc_area_node(area, gfp_mask, prot, node)

vmalloc区域（VMALLOC_START~VMALLOC_END）是通过多个vmap_area来进行管理，这些vmap_area代表不同的vmalloc区间，他们通过rbtree组织起来，当通过vmalloc分配一段虚拟地址空间时，会首先通过__get_vm_area_node遍历这颗rbtree，找到是否有vmap_area描述的合适的vmalloc区间，如果有则直接返回，否则要创建新的vmap_area，并加入rbtree；
之后就将通过__vmalloc_area_node调用buddy系统来分配物理页面，每次分配一个page，并为之创建映射

注：这里的rbtree有两颗，一颗是vmap_area_root，用于管理使用的vmalloc空间的vmap_area；另一个是free_vmap_area_root只存放描述空闲vmalloc空间的vmap_area，上述__get_vm_area_node遍历时将遍历free_vmap_area_root，而将使用的vmap_area加入到vmap_area_root

|- -__get_vm_area_node

__get_vm_area_node
    |--struct vmap_area *va
    |  struct vm_struct *area
    |--area = kzalloc_node(sizeof(*area), gfp_mask & GFP_RECLAIM_MASK, node)
    |--va = alloc_vmap_area(size, align, start, end, node, gfp_mask)
    |--setup_vmalloc_vm(area, va, flags, caller)

kzalloc_node分配struct vm_struct结构体用于描述这个vmalloc区域

alloc_vmap_area在vmalloc整个区域（VMALLOC_START~VMALLOC_END）查找一块大小合适且没有使用的vmalloc空间

|- - -alloc_vmap_area

alloc_vmap_area(size, align, start, end, node, gfp_mask)
    |--struct vmap_area *va
    |--va = kmem_cache_alloc_node(vmap_area_cachep, gfp_mask, node)
    |--addr = __alloc_vmap_area(size, align, vstart, vend)//从红黑树查找满足要求的vmalloc区间
    |      |--va = find_vmap_lowest_match(size, align, vstart)
    |--va->va_start = addr //如果没有找到则在最后一块vmalloc区间开辟新的vmalloc区域
    |  va->va_end = addr + size
    |  va->vm = NULL
    |--insert_vmap_area(va, &vmap_area_root, &vmap_area_list)

1. kmem_cache_alloc_node
   从vmap_area_cachep的slab缓存分配一个struct vmap_area的slab对象

2. __alloc_vmap_area
   由于vmap_area 用于描述一段vmalloc区域，所有空闲vmalloc区域由一颗红黑树free_vmap_area_root来管理，这颗红黑树以va->va_start升序排列，__alloc_vmap_area主要调用find_vmap_lowest_match从free_vmap_area_root.rb_node根节点开始查找，找到满足要求的起始地址最小的vmalloc区域，返回其对应的vmap_area, 如果没有找到这样的vmalloc区域，则在最后一块vmalloc区域的结束地址处开辟一个新的vmalloc区域，通过insert_vmap_area插入红黑树vmap_area_root

|- - -setup_vmalloc_vm

setup_vmalloc_vm(area, va, flags, caller)
    |--setup_vmalloc_vm_locked(vm, va, flags, caller)
           |--vm->flags = flags;
              vm->addr = (void *)va->va_start;
              vm->size = va->va_end - va->va_start;
              vm->caller = caller;
              va->vm = vm;

setup_vmalloc_vm将vm_struct和vmap_area关联起来

|- -__vmalloc_area_node

__vmalloc_area_node(area, gfp_mask, prot, node)
    |--//计算gfp_mask
    |--const gfp_t nested_gfp = (gfp_mask & GFP_RECLAIM_MASK) | __GFP_ZERO
    |  //计算vmalloc分配的内存大小有几个page
    |  unsigned int nr_pages = get_vm_area_size(area) >> PAGE_SHIFT
    |  unsigned int array_size = nr_pages * sizeof(struct page *)
    |  //为物理page指针分配空间
    |--pages = kmalloc_node(array_size, nested_gfp, node)
    |  area->pages = pages
    |  area->nr_pages = nr_pages
    |--for (i = 0; i < area->nr_pages; i++)
    |      //通过buddy分配一个页面
    |      page = alloc_pages_node(node, gfp_mask, 0)
    |      //保存已分配的page指针
    |      area->pages[i] = page 
    |      if (gfpflags_allow_blocking(gfp_mask))
    |          cond_resched()
    |--atomic_long_add(area->nr_pages, &nr_vmalloc_pages)
    |  //为vmalloc区域分配的所有page创建映射，映射区为vmalloc映射区
    \--map_kernel_range((unsigned long)area->addr, get_vm_area_size(area),prot, pages)

__vmalloc_area_node调用buddy系统来分配物理页面，每次分配一个page，并为之创建映射

参考文档

奔跑吧，Linux内核