一步一步学linux操作系统: 23 内存管理_内核态内存映射

最新推荐文章于 2023-10-24 16:06:46 发布
最新推荐文章于 2023-10-24 16:06:46 发布
阅读量561 收藏
点赞数
分类专栏： 趣谈Linux操作系统 学习 文章标签： linux 操作系统 内存管理 内核态内存映射
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leacock1991/article/details/107649605
版权

内核页表

和用户态页表不同，在系统初始化的时候，就要创建内核页表

swapper_pg_dir
arch/x86/include/asm/pgtable_64.h


extern pud_t level3_kernel_pgt[512];
extern pud_t level3_ident_pgt[512];
extern pmd_t level2_kernel_pgt[512];
extern pmd_t level2_fixmap_pgt[512];
extern pmd_t level2_ident_pgt[512];
extern pte_t level1_fixmap_pgt[512];
extern pgd_t init_top_pgt[];


#define swapper_pg_dir init_top_pgt

在这里插入图片描述

swapper_pg_dir 指向内核最顶级的目录 pgd

64 位系统的虚拟地址空间的布局，其中 XXX_ident_pgt 对应的是直接映射区，XXX_kernel_pgt 对应的是内核代码区，XXX_fixmap_pgt 对应的是固定映射区。

内核页表定义

arch/x86/kernel/head_64.S


__INITDATA


NEXT_PAGE(init_top_pgt)
  .quad   level3_ident_pgt - __START_KERNEL_map + _KERNPG_TABLE
  .org    init_top_pgt + PGD_PAGE_OFFSET*8, 0
  .quad   level3_ident_pgt - __START_KERNEL_map + _KERNPG_TABLE
  .org    init_top_pgt + PGD_START_KERNEL*8, 0
  /* (2^48-(2*1024*1024*1024))/(2^39) = 511 */
  .quad   level3_kernel_pgt - __START_KERNEL_map + _PAGE_TABLE


NEXT_PAGE(level3_ident_pgt)
  .quad  level2_ident_pgt - __START_KERNEL_map + _KERNPG_TABLE
  .fill  511, 8, 0
NEXT_PAGE(level2_ident_pgt)
  /* Since I easily can, map the first 1G.
   * Don't set NX because code runs from these pages.
   */
  PMDS(0, __PAGE_KERNEL_IDENT_LARGE_EXEC, PTRS_PER_PMD)


NEXT_PAGE(level3_kernel_pgt)
  .fill  L3_START_KERNEL,8,0
  /* (2^48-(2*1024*1024*1024)-((2^39)*511))/(2^30) = 510 */
  .quad  level2_kernel_pgt - __START_KERNEL_map + _KERNPG_TABLE
  .quad  level2_fixmap_pgt - __START_KERNEL_map + _PAGE_TABLE


NEXT_PAGE(level2_kernel_pgt)
  /*
   * 512 MB kernel mapping. We spend a full page on this pagetable
   * anyway.
   *
   * The kernel code+data+bss must not be bigger than that.
   *
   * (NOTE: at +512MB starts the module area, see MODULES_VADDR.
   *  If you want to increase this then increase MODULES_VADDR
   *  too.)
   */
  PMDS(0, __PAGE_KERNEL_LARGE_EXEC,
    KERNEL_IMAGE_SIZE/PMD_SIZE)


NEXT_PAGE(level2_fixmap_pgt)
  .fill  506,8,0
  .quad  level1_fixmap_pgt - __START_KERNEL_map + _PAGE_TABLE
  /* 8MB reserved for vsyscalls + a 2MB hole = 4 + 1 entries */
  .fill  5,8,0


NEXT_PAGE(level1_fixmap_pgt)
  .fill  51

在这里插入图片描述

init_top_pgt

quad 是声明了一项的内容
org 是跳到了某个位置
init_top_pgt 有三项：

第一项 ,指向的是 level3_ident_pgt，也即直接映射区页表的三级目录。
为什么要减去__START_KERNEL_map
1、因为level3_ident_pgt是定义在内核代码里的，写代码的时候，写的都是虚拟地址，谁写代码的时候页不知道将来加载的物理地址是多少呀，对不对
2、因为level3_ident_pgt是在虚拟地址的内核代码里的，而__START_KERNEL_map正是虚拟地址空间内核代码段的其实地址，
3、level3_ident_pgt 减去 __START_KERNEL_map才是物理地址
第二项，跳到 PGD_PAGE_OFFSET 的位置，再定义一项

这一项就应该是 __PAGE_OFFSET_BASE 对应的，__PAGE_OFFSET_BASE 是虚拟地址空间里面内核的起始地址

arch/x86/kernel/head_64.S


PGD_PAGE_OFFSET = pgd_index(__PAGE_OFFSET_BASE)
PGD_START_KERNEL = pgd_index(__START_KERNEL_map)
L3_START_KERNEL = pud_index(__START_KERNEL_map)

在这里插入图片描述
第三项，指向 level3_kernel_pgt，内核代码区

接下来的代码就很类似了，就是初始化个表项，然后指向下一级目录，最终形成下面这张图

图片来自极客时间趣谈linux操作系统
图片来自极客时间趣谈linux操作系统

如果是用户态进程页表，会有 mm_struct 指向进程顶级目录 pgd，对于内核来讲，也定义了一个 mm_struct，指向 swapper_pg_dir。

\mm\init-mm.c


struct mm_struct init_mm = {
  .mm_rb    = RB_ROOT,
  .pgd    = swapper_pg_dir,
  .mm_users  = ATOMIC_INIT(2),
  .mm_count  = ATOMIC_INIT(1),
  .mmap_sem  = __RWSEM_INITIALIZER(init_mm.mmap_sem),
  .page_table_lock =  __SPIN_LOCK_UNLOCKED(init_mm.page_table_lock),
  .mmlist    = LIST_HEAD_INIT(init_mm.mmlist),
  .user_ns  = &init_user_ns,
  INIT_MM_CONTEXT(init_mm)
};

在这里插入图片描述

初始化内核页表

在系统启动的时候 start_kernel 会调用 setup_arch。

setup_arch 函数

\arch\x86\kernel\setup.c


void __init setup_arch(char **cmdline_p)
{
  /*
   * copy kernel address range established so far and switch
   * to the proper swapper page table
   */
  clone_pgd_range(swapper_pg_dir     + KERNEL_PGD_BOUNDARY,
      initial_page_table + KERNEL_PGD_BOUNDARY,
      KERNEL_PGD_PTRS);


  load_cr3(swapper_pg_dir);
  __flush_tlb_all();
......
  init_mm.start_code = (unsigned long) _text;
  init_mm.end_code = (unsigned long) _etext;
  init_mm.end_data = (unsigned long) _edata;
  init_mm.brk = _brk_end;
......
  init_mem_mapping();
......
}

在这里插入图片描述
load_cr3(swapper_pg_dir) 说明内核页表要开始起作用了，并且刷新了 TLB，初始化 init_mm 的成员变量
最重要的就是 init_mem_mapping。最终它会调用 kernel_physical_mapping_init。

kernel_physical_mapping_init 函数

\arch\x86\mm\init_64.c


/*
 * Create page table mapping for the physical memory for specific physical
 * addresses. The virtual and physical addresses have to be aligned on PMD level
 * down. It returns the last physical address mapped.
 */
unsigned long __meminit
kernel_physical_mapping_init(unsigned long paddr_start,
           unsigned long paddr_end,
           unsigned long page_size_mask)
{
  unsigned long vaddr, vaddr_start, vaddr_end, vaddr_next, paddr_last;


  paddr_last = paddr_end;
  vaddr = (unsigned long)__va(paddr_start);
  vaddr_end = (unsigned long)__va(paddr_end);
  vaddr_start = vaddr;


  for (; vaddr < vaddr_end; vaddr = vaddr_next) {
    pgd_t *pgd = pgd_offset_k(vaddr);
    p4d_t *p4d;


    vaddr_next = (vaddr & PGDIR_MASK) + PGDIR_SIZE;


    if (pgd_val(*pgd)) {
      p4d = (p4d_t *)pgd_page_vaddr(*pgd);
      paddr_last = phys_p4d_init(p4d, __pa(vaddr),
               __pa(vaddr_end),
               page_size_mask);
      continue;
    }


    p4d = alloc_low_page();
    paddr_last = phys_p4d_init(p4d, __pa(vaddr), __pa(vaddr_end),
             page_size_mask);


    p4d_populate(&init_mm, p4d_offset(pgd, vaddr), (pud_t *) p4d);
  }
  __flush_tlb_all();


  return paddr_l

在这里插入图片描述
在 kernel_physical_mapping_init 里，先通过 __va 将物理地址转换为虚拟地址，然后再创建虚拟地址和物理地址的映射页表。

1、既然对于内核来讲，我们可以用 __va 和 __pa 直接在虚拟地址和物理地址之间转来转去？
因为这是CPU和内存的硬件的需求，也就是说。CPU在保护模式下访问虚拟地址的时候，就会用CR3这个寄存器，这个寄存器是CPU定义的。作为操作系统，要按照硬件的要求来。

2、按照咱们将初始化的时候的过程，系统早早就进入了保护模式，到了 setup_arch 里面才 load_cr3，如果使用 cr3 是硬件的要求，那之前是怎么办的呢？
arch\x86\kernel\head_64.S，这里面除了初始化内核页表之外，在这之前，还有另一个页表 early_top_pgt。这个页表就是专门用在真正的内核页表初始化之前，为了遵循硬件的要求而设置的

vmalloc 和 kmap_atomic 原理

用户态可以通过malloc函数分配内存，当然malloc在分分配比较大的内存的时候，底层调用的是mmap，当然也可以直接通过mmap做内存映射、在内核里面也有相应的函数

在虚拟地址空间里，有个vmalloc区域，从VMALLOC_START开始VMALLOC_END，可以用于映射一段物理内存

vmalloc函数


/**
 *  vmalloc  -  allocate virtually contiguous memory
 *  @size:    allocation size
 *  Allocate enough pages to cover @size from the page level
 *  allocator and map them into contiguous kernel virtual space.
 *
 *  For tight control over page level allocator and protection flags
 *  use __vmalloc() instead.
 */
void *vmalloc(unsigned long size)
{
  return __vmalloc_node_flags(size, NUMA_NO_NODE,
            GFP_KERNEL);
}


static void *__vmalloc_node(unsigned long size, unsigned long align,
          gfp_t gfp_mask, pgprot_t prot,
          int node, const void *caller)
{
  return __vmalloc_node_range(size, align, VMALLOC_START, VMALLOC_END,
        gfp_mask, prot, 0, node, caller);
}

kmap_atomic 函数


void *kmap_atomic_prot(struct page *page, pgprot_t prot)
{
......
  if (!PageHighMem(page))
    return page_address(page);
......
  vaddr = __fix_to_virt(FIX_KMAP_BEGIN + idx);
  set_pte(kmap_pte-idx, mk_pte(page, prot));
......
  return (void *)vaddr;
}


void *kmap_atomic(struct page *page)
{
  return kmap_atomic_prot(page, kmap_prot);
}


static __always_inline void *lowmem_page_address(const struct page *page)
{
  return page_to_virt(page);
}


#define page_to_virt(x)  __va(PFN_PHYS(page_to_pfn(x)

1、如果是32位有高端地址的就需要调用set_pte通过内核页表进行临时映射；
2、如果是64位没有高端地址的，就调用page_address，里面会调用lowmen_page_address，
3、其实低端内存的映射，会直接使用_va进行临时映射

内核态缺页异常

vmalloc 和 kmap_atomic 不同
kmap_atomic发现，没有页表的时候，就直接创建也表进行映射了、而vmalloc没有，它只分配了内核的虚拟地址、所以，访问它的时候，会产生缺页异常

内核态的缺页异常还是会调用do_page_fault，进一步会走到vmalloc_fault
vmalloc_fault 函数


/*
 * 32-bit:
 *
 *   Handle a fault on the vmalloc or module mapping area
 */
static noinline int vmalloc_fault(unsigned long address)
{
  unsigned long pgd_paddr;
  pmd_t *pmd_k;
  pte_t *pte_k;


  /* Make sure we are in vmalloc area: */
  if (!(address >= VMALLOC_START && address < VMALLOC_END))
    return -1;


  /*
   * Synchronize this task's top level page-table
   * with the 'reference' page table.
   *
   * Do _not_ use "current" here. We might be inside
   * an interrupt in the middle of a task switch..
   */
  pgd_paddr = read_cr3_pa();
  pmd_k = vmalloc_sync_one(__va(pgd_paddr), address);
  if (!pmd_k)
    return -1;


  pte_k = pte_offset_kernel(pmd_k, address);
  if (!pte_present(*pte_k))
    return -1;


  return 0

总结

1、物理内存管理

在这里插入图片描述

2、内核态内存分配

在这里插入图片描述
3、用户态内存分配

在这里插入图片描述

4、内存分配体系总图

图片来自极客时间趣谈linux操作系统
图片来自极客时间趣谈linux操作系统

参考资料：

趣谈Linux操作系统（极客时间）链接：
http://gk.link/a/10iXZ
欢迎大家来一起交流学习

墨1024
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
为何要把物理内存地址映射到内核空间？
tianyu的专栏 - Linux site:blog.csdn.net/wishfly
06-04 2141
http://blog.sina.com.cn/s/blog_3f0f794c0100ip2o.html
映射完整物理地址
RichardYSteven的专栏
03-05 1995
内核物理地址映射
Linux如何映射物理内存到内核空间
weixin_34194551的博客
10-28 709
在setup_arch（）中： 1. parse_cmdline(): 根据uboot传递的mem信息，调用early_mem()通过arm_add_memory()把物理内存信息添加到meminfo结构体中。 2. paging_init(): 这个就是关键的初始化页表的函数，在里面会调用bootmem_init()->bootmem_init_nod...
Linux Memory Mapping
寻找自我，挑战自我！
12-16 1203
Linux Memory Mapping Purpose The following examples demonstrates how to map a driver allocated buffer from kernel into user space. It has been tested with Linux kernel 2.2.18 and 2.4.0 on Intel (uni
linux内存源码分析 - 页表的初始化
最新发布
m0_74282605的博客
10-24 155
这些多个主内核页全局目录被称为。我们知道，内核可使用的线性地址就只有1G大小(0xC0000000 ~ 0xFFFFFFFF)，而用于ZONE_DMA和ZONE_NORMAL这两个区的映射已经花掉了896MB的线性地址空间，最后只剩下128MB用于映射高端内存，如果内存大于1G，比如2G的情况下，高端内存区大小就为1152MB，这个128MB大小的线性地址空间是完全不够直接映射高端内存的，所以对于高端内存的处理，linux并不会直接映射，而是在需要的时候才进行映射，不需要的时候就释放映射，回收线性地址。
Linux开机启动过程（9）：进入内核入口点之前最后的准备工作
RToax
03-17 1001
内核初始化 第三部分 在原文的基础上添加了5.10.13部分的源码解读。 进入内核入口点之前最后的准备工作 这是 Linux 内核初始化过程的第三部分。在上一个部分 中我们接触到了初期中断和异常处理，而在这个部分中我们要继续看一看 Linux 内核的初始化过程。在之后的章节我们将会关注“内核入口点”—— init/main.c 文件中的start_kernel 函数。没错，从技术上说这并不是内核的入口点，只是不依赖于特定架构的通用内核代码的开始。不过，在我们调用 start_kernel 之前，有些准备必须
arm64 linux pgd_offset_k 代码阅读过程中的疑问记录
qq_30025621的博客
05-14 1526
start_kernel -> setup_arch -> early_fixmap_init -> pgd_offset_k pgd_t *pgd; unsigned long addr = FIXADDR_START; // 0xffff7ffffabfe000 pr_err("Test pgd_index(addr) is 0x%llx ...
内核态内存映射：如何找到正确的会议室
凯凯王的技术生涯
01-16 249
文章目录内核页表vmalloc和kmap_auomic原理内核态缺页异常总结 内核态的内存映射机制，主要包含以下几个部分： 内核态内存映射函数vmalloc、kmap_atomic是如何工作的 内核态页面是放在哪里的，如何工作的？swapper_pg_dir是怎么回事 出现了内核态缺页异常应该怎么办 内核页表 和用户态页表不同，在系统初始化的时候，就要创建内核页表了。 从内核页表的根swapper_pg_dir开始找线索，在arch/x86/include/asm/pgtable_64.h 中就能找到它
Linux 内核页表的创建
Jekton
11-25 1142
原文地址 jekton.github.io，未经允许，不得转载。 源码使用 Linux 2.6.24，基于 x86 平台；参考书是《深入理解 LINUX 内核》第三版 内核跟普通的应用一样，为了使用虚拟内存，也需要一个给 CPU 设置一个页表。在这篇文章中，我们就一起来了解 Linux 是如何为内核创建页表的。需要注意的是，这里我并不打算详细讲解页表的方方面面，硬件相关的基础知识，读者可以...
linux内核学习(4)建立正式内核的页式内存映射, 以x86 32位模式为例
shipinsky的博客
01-01 265
linux内核学习(4)建立正式内核的页式内存映射, 以x86 32位模式为例 void __init setup_arch(char **cmdline_p) { max_low_pfn_mapped = init_memory_mapping(0, max_low_pfn<<PAGE_SHIFT); =>unsigned long __init_refok init_memory_mapping(unsigned long start, unsigned long end)
linux 页表管理代码,Linux页表机制管理初始化
weixin_33212263的博客
05-12 138
/**SetupthedirectmappingofthephysicalmemoryatPAGE_OFFSET.*Thisrunsbeforebootmemisinitializedandgetspagesdirectlyfrom*thephysicalmemory.Toaccessthemtheyaretemporarilymapp...
ARM64页表映射
zhongzhenxing7961的博客
12-13 1121
linux armv8页表的映射
内存(ZT)
tianyu的专栏 - Linux site:blog.csdn.net/wishfly
02-05 2711
  内存目 录内存 内存管理子系统导读from aka 用户态 内核页目录的初始化 内核线程页目录的借用 用户进程内核页目录的建立 内核页目录的同步 mlock代码分析 memory.c copy_page clear_page_tables oom free_page_tables new_page_
一个历史遗留问题，引发的linux内存管理的‘血案’
striver1205的专栏
04-22 647
最近处理一个骨灰级历史残留问题，内核模块DPI的内存数据被无故关顾，导致系统的panic的问题，linux 内核版本3.18 x86_64,由于我们要精简系统，许多调试工具已经被阉割，SLAB_DEBUG, KASAN not support, 由于这部分数据主要是查询，在初始化话不会对其进行修改，所以想到一个办法将初始化完DPI后，将使用的内存页设置为只读，通过stack的信息找到元凶。 按照以上的分析总共分为以下步骤： 查找 虚拟地址的PTE 设置PTE的属性为只读 #include <l
《深入理解LINUX内存管理》学习笔记（二） 0.01版
应公子的专栏
05-22 7933
初始化mem_mapmem_map是一个struct page的数组，管理着系统中所有的物理内存页面。在系统启动的过程中，创建和分配mem_map的内存区域。UMA体系结构中，free_area_init()函数在系统唯一的struct node对象contig_page_data中node_mem_map成员赋值给全局的mem_map变量。调用的关系图：主要的核心函数free_a
内核杂谈——用户空间的页表
m0_37797953的博客
02-12 963
环境：ARM64，四级页表 前言 内核空间的页目录表的基地址为swapper_pg_dir，在内核初始化的时候，建立了swapper_pg_dir为基地址的页表，用于fixmap的永久映射区，获取早期的物理地址设备比如设备树等。而后面的线性映射的页表是临时的，在每级页表项映射完成的时候会清除这段映射，借助的地址是fixmap的临时映射区。这是通读内核启动代码时最直观接触到的。 用户空间的页面获取一般是从缺页异常开始的，然后一步步建立页表项。 关于页目录表的代码： #define pgd_in.
启动期间的内存管理之bootmem_init初始化内存管理--Linux内存管理(十二)
OSKernelLAB(gatieme)
09-01 7867
日期 内核版本 架构 作者 GitHub CSDN 2016-09-01 Linux-4.7 X86 & arm gatieme LinuxDeviceDrivers Linux内存管理在内存管理的上下文中, 初始化(initialization)可以有多种含义. 在许多CPU上, 必须显式设置适用于Linux内核的内存模型. 例如在x86_32上需要切换到
2.4　内存管理结构mem_map初始化
qq308845474的博客
10-18 2223
2.4　内存管理结构mem_map初始化 对主内存区起始位置的重新确定，标志着主内存区和缓冲区的位置和大小已经全都确定了，于是系统开始调用mem_init()函数。先对主内存区的管理结构进行设置，该过程如图2-5所示。 具体执行代码如下： //代码路径：init/main.c:  void main(void)  {      …      mem_init(main
Linux内存管理 —— 内核态和用户态的内存分配方式
热门推荐
落尘纷扰的专栏
03-06 1万+
1. 使用buddy系统管理ZONE 我的这两篇文章buddy系统和slab分配器已经分析过buddy和slab的原理和源码，因此一些细节不再赘述。 所有zone都是通过buddy系统管理的，buddy system由Harry Markowitz在1963年提出。buddy的工作方式我就不说了，简单来说buddy就是用来管理内存的使用情况：一个页被申请了，别人就不能申请了。通过/proc/b...
Linux i386内存管理：用户地址空间与内核映射详解
Linux的用户地址空间分布是操作系统内存管理的重要组成部分，特别是在基于Intel x86架构的系统中。在Linux环境下，内存空间被划分为多个层次，包括用户空间、内核空间以及它们各自的细节。本文将深入探讨这些概念。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨1024

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值