Linux2.6内存布局笔记

最新推荐文章于 2024-08-02 09:54:50 发布
最新推荐文章于 2024-08-02 09:54:50 发布
阅读量371 收藏 1
点赞数
分类专栏： Linux内核 文章标签： 内核内存布局
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CrazyHeroZK/article/details/87362374
版权
本文深入探讨x86架构下的内存布局，包括逻辑地址、虚拟地址和物理地址的概念，以及页、页框和区的定义。详细讲解了内核和用户空间的内存分布，特别是高端内存的动态映射机制，以及压缩内核与用户虚拟地址空间的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

内存布局

本篇笔记讨论x86结构体系的内存布局

概述

Linux以分段加分页的方式管理和访问内存，通过分段将逻辑地址翻译成虚拟地址，再由分页将虚拟地址翻译成物理地址，从而访问内存。

一般概念

  1. 逻辑地址
    包含在机器语言指令中，用来指定一个操作数或指令的地址。编译器把程序分成多段，每个逻辑地址由一个段和偏移量组成，偏移量指明从段开始的地方到实际地址之间的距离。

  2. 虚拟地址
    虚拟地址也称线性地址，是一个32位无符号整数，可以表示4GB的地址。它从0开始寻址，每下一个数字表示下一个字节的地址。

  3. 物理地址
    物理地址是使用物理地址总线中的位表示的地址。物理地址可能与逻辑地址不同，内存管理单元可以将逻辑地址转换成物理地址。

  4. 页
    虽然可以以字节进行内存寻址，但由于内存管理单元通常以固定长度的虚拟地址空间为组进行到物理地址空间的连续映射，所以内核也将虚拟地址空间换分为固定长度的基本单元进行管理，该基本单元就是页。大多数32位系统上每一页的大小是4kb。

  5. 页框
    内存管理单元将内存分为刚好容纳页的物理单元，称为页框。同一个页可以放置在不同的页框或磁盘中，所以才可以完成页的交换和动态映射。

  6. 区
    由于硬件的限制，位于特定物理地址上的页不能做特定的任务，内核再次将物理内存上的页划分为不同的区，以对相似特性的页进行逻辑分组。
    内核必须解决这种缺陷引起的寻址问题：

  • 某些硬件只能用特定区域的物理内存来执行DMA（直接内存访问）。
  • 物理寻址比虚拟寻址范围大的情况下，一些内存不能永久的映射到内核空间上。

物理地址空间分布

  1. 以区划分，Linux一般把物理空间分为3个逻辑区：
  • ZONE_DMA，这个区的页可以直接进行内存访问，其中的虚拟地址也物理地址一一映射。
  • ZONE_NORMAL，这个区的页都是能正常映射的，其中的虚拟地址也物理地址一一映射。
  • ZONE_HIGHEM，这个区的页不能永久的映射到内核空间，称为高端内存。
  1. 以4G物理内存为例，分布图如下：
            ----+===================+---- 4GB
              ^ |  .........        |
              | |-------------------|
              | |  .........        |
    ZONE_HIGHEM |-------------------|
              | |  .........        |
              | |-------------------|
              v |  .........        |
            ----|===================|---- 896MB
              ^ |  .........        |
              | |-------------------|
    ZONE_NORMAL |  .........        |
              | |-------------------|
              v |  .........        |
            ----|===================|---- 16MB
              ^ |  .........        |
    ZONE_DMA  | |-------------------|
              v |  .........        |
            ----+===================+---- 0

虚拟地址空间分布

  1. 虚拟地址空间分为用户空间和内核空间。由于开启了分页机制，内核想要访问物理地址空间的话，必须先建立映射关系，然后通过虚拟地址来访问。为了能够访问所有的物理地址空间，就要将全部物理地址空间映射到1G的内核线性空间中，这显然不可能。于是，内核将0~896M的物理地址空间一对一映射到自己的虚拟地址空间中，这样它便可以随时访问ZONE_DMA和ZONE_NORMAL里的物理页面；此时内核剩下的128M虚拟地址空间不足以完全映射所有的ZONE_HIGHMEM，Linux采取了动态映射的方法，即按需的将ZONE_HIGHMEM里的物理页面映射到内核空间的最后128M虚拟地址空间里，使用完之后释放映射关系，以供其它物理页面映射。

  2. 以4G物理内存为例，分布图如下：

                      虚拟地址空间         物理地址空间
        4GB     ----+-------------+    +-------------+---- 4GB
                  ^ |  .........  |\  /|  .........  |
                  | |-------------| \/ |-------------|
                  | |  .........  | /\ |  .........  |
                  | |-------------|/  \|-------------|
                  | |  .........  |    |  .........  |
                  | |-------------|    |-------------| Dynamic mapped
     KERNEL_SPACE | |  .........  |    |  .........  |
                  | |  .........  |    |-------------|
        3GB+896MB---|-------------+\   |  .........  |
                  | |  .........  ++\  |-------------|
                  | |  .........  +++\ |  .........  |
                  | |-------------++++\|-------------|---- 896MB
                  v |  .........  ++++++  .........  |
        3GB     ----|=============+\++++-------------|
                  ^ |  .........  | \+++  .........  | Liner mapped
     USER_SPACE   | |-------------|  \++-------------|
                  v |  .........  |   \+  .........  |
        0       ----+-------------+    +-------------+---- 0

内核空间布局

  1. 在kernel image下面有16M的内核空间用于DMA操作。位于内核空间高端的128M地址主要由3部分组成，分别为vmalloc area，持久化内核映射区，临时内核映射区。由于ZONE_NORMAL物理内存空间和内核虚拟空间存在直接映射关系，所以内核会将频繁使用的数据如kernel代码、GDT、IDT、PGD、mem_map数组等放在ZONE_NORMAL里。而将用户数据、页表(PT)等不常用数据放在ZONE_ HIGHMEM里，只在要访问这些数据时才建立映射关系(kmap())。比如，当内核要访问I/O设备存储空间时，就使用ioremap()将位于物理地址高端的mmio区内存映射到内核空间的vmalloc area中，在使用完之后便断开映射关系。

  2. 以4G物理内存为例，分布图如下：

            ----+-------------------+---- 4GB
              ^ |  atomic  mapping  |
              | |===================|----> FIXADDR_START
              | |        ...        |
              | |===================|
              | |   fixed mapping   |
              | |===================|----> PKMAP_BASE
              | |        ...        |
              | |===================|----> VMALLOC_END
              | |   vmalloc area    |
              | |-------------------|
              | |   ioremap area    |
              | |===================|----> VMALLOC_START
              | |        ...        |
    kernel_space|-------------------|---- 3GB + 896MB
              | |        ...        |
              | |-------------------|
              | |        ...        |
              | |-------------------|
              | |      mem_map      |
              | |-------------------|
              | |  kernel image     |
              | |-------------------|---- 3GB + 16MB
              v |        DMA        |
            ----|-------------------|---- 3GB
              ^ |        ...        |
    user_space| |-------------------|
              v |        ...        |
            ----+-------------------+---- 0

用户空间布局

  1. 当RAM足够多时，内核会将用户数据保存在ZONE_ HIGHMEM，从而为内核腾出内存空间。用户进程的代码区一般从虚拟地址空间的0x08048000开始，这是为了便于检查空指针。用户空间各个段的说明：
  • text段（代码段），存放运行的指令数据。
  • data段（数据段），存放初始化非0的全局变量
  • bss段，存放未初始化的和初始化为0的全局变量
  • 堆段，由用户申请和释放。申请时至少分配虚存，当真正写数据时才分配对应的实存，释放时也并不是马上释放实存，而是可能被反复利用。
  • 栈段，由系统负责申请释放，其操作方式类似数据结构的栈，用于存储參数变量及局部变量，函数的运行也是栈的方式，所以才有了递归。
  • 参数和全局环境变量区，存储程序运行时从shell中传入的参数和环境变量。
  1. 以4G物理内存为例，分布图如下：

              ----+-------------------+---- 4GB
                ^ |  .........        |
    kernel_space| |-------------------|
                v |  .........        |
              ----|-------------------|---- 3GB
                ^ |  env/param        |
                | |-------------------|
                | |  stack            |---- + 
                | |-------------------|     |
                | |  .........        |     v 栈向低地址扩展
                | |-------------------|      
                | |  .........        |     ^
                | |-------------------|     | 内存映射地址向高地址扩展
                | |  mmap.....        |---- +
    user_space  | |-------------------|
                | |  .........        |     ^
                | |-------------------|     | 堆地址向高地址扩展
                | |  heap.....        |---- +
                | |-------------------|
                | |  bss......        |
                | |-------------------|
                | |  data.....        |
                | |-------------------|
                | |  text....         |
                | |-------------------|---- 0x08048000
                | |  .........        |
                | |-------------------|
                v |  .........        |
              ----+-------------------+---- 0

压缩内核与用户的虚拟地址空间

压缩内核虚拟地址空间

  1. 目标

缩内核空间的直接映射段和非连续页映射段.直接映射段从64T变为16T,非连续页映射段从32T变为8T.

  1. 修改源码

参考上述宏的位置修改源码。将 __PAGE_OFFSET_BASE 修改为 0xffffd00000000000。再将 MAX_PHYSMEM_BITS 修改为44。将 __VMALLOC_BASE 修改为 0xffffe10000000000 。再将 VMALLOC_SIZE_TB 修改为 _AC(8, UL)。

压缩用户虚拟地址空间

  1. 目标

压缩整个用户空间,将原来128T的空间压缩到2T.

  1. 修改源码

参考上述宏的位置修改源码。将 TASK_SIZE_MAX 修改为 ((1UL << 47) – (126UL << 40))

编译内核

  1. 修改配置

在 .config 文件中添加 CONFIG_X86_PTDUMP_CORE=y、 CONFIG_X86_PTDUMP=y 和 CONFIG_EFI_PGT_DUMP=y 配置项。开启这些选项后可以使用 cat /sys/kernel/debug/kernel_page_table 命令查看内核空间的布局。

  1. 编译内核

查看布局 cat /sys/kernel/debug/kernel_page_table 输出如下：

---[ User Space ]---
0x0000000000000000-0xffff800000000000    16777088T                               pgd
---[ Kernel Space ]---
0xffff800000000000-0xffffd00000000000          80T                               pgd
---[ Low Kernel Mapping ]---
0xffffd00000000000-0xffffd00000010000          64K     RW                 GLB NX pte
0xffffd00000010000-0xffffd00000080000         448K     ro                     NX pte
...
0xffffd00240000000-0xffffd08000000000         503G                               pud
0xffffd08000000000-0xffffe10000000000       16896G                               pgd
---[ vmalloc() Area ]---
0xffffe10000000000-0xffffe10000001000           4K     RW     PCD         GLB NX pte
...
0xffffe8ffffcc6000-0xffffe8ffffe00000        1256K                               pte
0xffffe8ffffe00000-0xffffe90000000000           2M                               pmd
0xffffe90000000000-0xffffea0000000000           1T                               pgd
---[ Vmemmap ]---
0xffffea0000000000-0xffffea0003000000          48M     RW         PSE     GLB NX pmd
0xffffea0003000000-0xffffea0004000000          16M                               pmd
...
0xffffea0040000000-0xffffea8000000000         511G                               pud
0xffffea8000000000-0xffffff0000000000       20992G                               pgd
---[ ESPfix Area ]---
0xffffff0000000000-0xffffff4a00000000         296G                               pud
...
0xffffff4a00069000-0xffffff4a0006a000           4K     ro                 GLB NX pte
0xffffff4a0006a000-0xffffff4a00079000          60K                               pte
... 131059 entries skipped ... 
---[ EFI Runtime Services ]---
0xffffffef00000000-0xffffffff80000000          66G                               pud
---[ High Kernel Mapping ]---
0xffffffff80000000-0xffffffff81000000          16M                               pmd
...
0xffffffff82000000-0xffffffff82400000           4M     RW         PSE     GLB NX pmd
0xffffffff82400000-0xffffffffa0000000         476M                               pmd
---[ Modules ]---
0xffffffffa0000000-0xffffffffa0010000          64K     ro                 GLB x  pte
0xffffffffa0010000-0xffffffffa0015000          20K     ro                 GLB NX pte
...
0xffffffffa04f7000-0xffffffffa04f9000           8K     RW                 GLB NX pte
0xffffffffa04f9000-0xffffffffa0a00000        5148K                               pte
0xffffffffa0a00000-0xffffffffff000000        1510M                               pmd
---[ End Modules ]---
0xffffffffff000000-0xffffffffff200000           2M                               pmd
0xffffffffff200000-0xffffffffff57b000        3564K                               pte
...
0xffffffffff600000-0xffffffffff601000           4K USR ro                 GLB NX pte
0xffffffffff601000-0xffffffffff800000        2044K                               pte
0xffffffffff800000-0x0000000000000000           8M                               pmd
RK3568平台开发系列讲解（内存篇）Linux 内存优化
内核笔记
10-29 819
Linux 内存优化方法汇总
代码大佬的【Linux内核开发笔记】分享，前人栽树后人乘凉！
m0_74282605的博客
11-12 1291
刚开始学内核的时候，不要执着于一个方面， 不要专注于- -个子系统就一头扎到实际的代码行中去，因为这样的话,牵涉的面会很广，会碰到很多困难，容易产生挫败感，-个函数体中(假设刚开始的时候正在学习某个方面的某个具体的功能函数)很可能掺杂着其他各个子系统方面设计理念(多是大量相关的数据结构或者全局变量，于支撑该子系统的管理工作)下相应的代码实现， 这个时候看到这些东西，纷繁芜杂，是没有头绪而且很不理解的,会产生很多很多的疑问，(这 个时候如果对这些疑问纠缠不清，刨根问底，那么事实上就是在学习当前子系统的过程中频
Linux2.6内存布局
CrazyHeroZK的专栏
02-15 287
内存布局 2.6.11 Linux 32bit 假设有4个节点。 假设有大于896MB的内存。 除node0外，其他的每个node所占的空间为: size = (node_end_pfn[nid] - node_start_pfn[nid] + 1) * sizeof(struct page) + sizeof(pg_data_t) node0所占的空间为它所管理的页描述符的空间 (node_e...
linux 2.6 内存管理,Linux 2.6 源码学习-内存管理-buddy算法
weixin_28543661的博客
04-30 279
核心数据结构linux 2.6 的内存管理支持NUMA(Non Uniform Memory Access Achitecture)，即非一致内存访问体系，在该体系中存在多个CPU，并且拥有分离的存储器以及共享存储器。因此在linux的代码中将每一个CPU的可访问内存定义为一个内存节点。总体上linux采取了节点、域、页面三级结构描述物理内存，核心数据结构如下：typedef struct pgl...
Linux 物理内存映射
小立仔
10-09 1970
Linux 在x86_64平台下 物理内存映射相关知识。
linux4.15 arm qemu @ubuntu18.04环境搭建与bootgraph启动优化
tugouxp的专栏
04-26 3059
本环境对内核和BUSYBOX的版本要求并不严格，只要是同一个时期的内核和Busybox，都不会有太大问题，比如下面用的busybox-1.35.0.tar.bz2搭配linux-5.15.90.tar.xz也是可以的。
RedHat7.4安装在个人电脑（笔记本）中安装遇到的问题总结
bangnvecao9075的博客
03-16 2723
RedHat7.4安装在个人电脑（笔记本）中安装 以下纯属个人在安装过程中遇到问题的一些总结，如果有描述不恰当的地方，还请给予指出，欢迎大家评论和交流。 物理主机的配置： 硬件配置：　　 　　华硕A456U笔记本电脑：X456URK 　　CPU (英特尔)Intel(R) Core(TM) i3-7100U CPU @ 2.40GHz　　　　CPU核心数 4　　　　CPU默...
Linux源码阅读笔记17-资源分配及总线系统
最新发布
Lenn Louis' Scribe
08-02 523
作为一种通用的外部总线，在用于连接中低数据传输速率的设备时（如鼠标，网络摄像头，键盘），USB很有优势。I/O内存不仅包括与扩展设备通信直接使用的内存区域，还包括系统中可用的物理内存和ROM存储器，以及包含在资源列表中的内存（可以使用proc文件系统中的iomem文件，显示所有的I/O内存）PCI（Peripheral Component Interconnect），是因特尔公司开发的一种标准总线，它迅速在系统组件和体系结构厂商中确立了自身的地位，成为一种非常流行的总线。如果区域不是空闲的，则分配失败。
Linux 2.6内核ACL机制数据结构和实现分析
kyosanma的专栏
07-09 4744
Linux2.6内核ACL机制数据结构和实现分析Abstract:This paper makes an analysis on ACL's data structure and implements on Linux 2.6 kernel, which includes data structure in abstract layer and EXT4 filesystem layer. It will also focus on the inode's access control algorithms
QT6410移植linux-2.6.39 笔记(一)-搭建开发板环境
12-15
### QT6410移植linux-2.6.39 笔记(一)-搭建开发板环境 #### 1. 搭建主机环境 (Hosting Environment) 为了进行QT6410开发板上的Linux 2.6.39内核移植工作，作者eilian在虚拟机环境下安装了Ubuntu 10.04操作系统作为...
短链接生成器免费使用 短网址生成 短网站
11-21
短链接生成器
ucore开启虚拟存储器过程详解
weixin_44037337的博客
10-18 1272
link脚本 在本项目中，有boot.ld和kernel.ld两个链接脚本 先来放几个常用链接脚本的注解： /DISCARD/ : {*(.comment)} //将输入文件的comment段丢弃 PROVIDE//该关键字定义一个（目标文件内被引用但没定义）符号。相当于定义一个全局变量，其他C文件可以引用它。 先来看第一个 OUTPUT_FORMAT("elf32-i386") OUTPUT_ARCH(i386) /** .data * .startu
进程页表与内核页表：页表的初始化
473687880
10-24 1230
摘要：linux刚刚加电启动时，如何从实模式进入保护模式？启动分页机制的前提是什么？如何保证分页机制之前和之后通过实地址和虚拟地址都能访问到同一个物理地址呢？内核页表是如何进行初始化的？用户进程不能访问内核的数据是在初始化的哪个阶段决定的？这些内容，都牵扯到linu的进程页表和内核页表，以及内核页表的初始化。本文也主要为你解答这些疑问. 本文来源：进程页表和内核页表：页表的初始化 1....
编译Linux内核并运行一个最小镜像
tan_000的博客
12-26 6714
需求公司的专用服务器使用自定义Linux内核，运行一个由busybox构成的最小镜像. 由于某些原因， 使用的内核来自其他人已经编译好的，并且也拿不到配置文件。 现在需要： 1. 添加某个专用驱动到内核中，并且添加一些脚本到新的系统运行镜像包initrd中 2. 兼容以前的系统镜像，不能出现使用旧的内核搭配新镜像时无法启动的问题本文把用到的知识点记录下来，便于有相同需求的同学参考。 系统内核称
linux 内核提权总结(demo+exp分析) -- ROP(一)
北观止的博客
12-23 1671
基础ROP篇(linux 5.0.21) 内核提权与用户态攻击的区别 攻击流程 用户态攻击: 执行 system("/bin/sh") 获得shell 内核提权: 内核执行 commit_creds(prepare_kernel_cred(0)) 使进程获得root权限 用户态进程执行system("/bin/sh") 获得root权限 shell 原文地址 理解难点 内核rop链构造 用户态进程与内核之间的切换 一. 漏洞分析 建议初学者先了解基础的驱动程序
Linux内存管理：分页
RToax
03-23 863
Linux内存管理：分页 rtoax 2021年3月 1. 简介 在 Linux 内核启动过程中的第五部分，我们学到了内核在启动的最早阶段都做了哪些工作。接下来，在我们明白内核如何运行第一个 init 进程之前，内核初始化其他部分，比如加载 initrd ，初始化 lockdep ，以及许多许多其他的工作。 是的，那将有很多不同的事，但是还有更多更多更多关于内存的工作。 在我看来，一般而言，内存管理是 Linux 内核和系统编程最复杂的部分之一。这就是为什么在我们学习内核初始化过程之前，需要了解分页。
Linux 杂项知识记录
zhangji
12-29 272
ELF文件格式 ELF (Executable and Linkable Format)是一种为可执行文件，目标文件，共享链接库和内核转储(core dumps)准备的标准文件格式。 Linux和很多类Unix操作系统都使用这个格式。 一个ELF文件由以下三部分组成： ELF头(ELF header) - 描述文件的主要特性：类型，CPU架构，入口地址，现有部分的大小和偏移等等； 程序头表(Pro...
慢慢欣赏linux 使用qemu调试startup_64
shipinsky的博客
03-13 516
很多文章写调试qemu都是从start_kernel开始的，那么start_kernel之前的函数如何调试呢。尤其是 startup_64 即使打上了断点也无法跟踪。 原因是 startup_64 在 vmlinux 里面对应的是链接地址。 7262499 ffffffff81000000 <_text>: 7262500 ffffffff81000000: 48 8d 2d f9 ff ff ff lea -0x7(%rip),%rbp # fffff
关于0xffffff的简单讲解！！
weixin_30391339的博客
04-20 3844
如果是32位机器的话，在内存里面的存储形式就是这样的！ 其中0x表示16进制，f在16进制中就表示十进制数15，这样0xffffff就表示一个16进制的数fffffff，例如： 0xf就表示16进制的f，也就是10进制的15. 0xff就表示16进制的ff，也就是10进制的（15*16+15）。此外，0xffffff和0x00ffffff 也是一样的！ 测试实例： #...
Android开发入门与Open手机联盟解析
"Android开发教程，讲解了Android操作系统的基础，依赖于Linux内核2.6，提供核心服务，并非类GNU/Linux系统。本书通过开发笔记形式分享作者的开发经验。同时，提到了开放手机联盟Open Handset Alliance，由Google...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值