Linux内存管理之理论基础

最新推荐文章于 2022-07-23 16:25:25 发布
最新推荐文章于 2022-07-23 16:25:25 发布
阅读量260 收藏 1
点赞数
分类专栏： 笔记 文章标签： linux 内存管理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25346431/article/details/119924462
版权
本文详细介绍了内存管理中的分段和分页机制，阐述了它们在地址空间映射和保护方面的作用。分段机制将程序划分为多个段，而分页机制则以固定大小的页面进行内存分配。在地址转换过程中，ARM32和ARM64处理器使用页表进行虚拟地址到物理地址的映射。此外，还探讨了Linux内存管理的数据结构以及ARM32和ARM64的内存结构差异。
摘要由CSDN通过智能技术生成

目录

1、分段机制

分段（Segmentation）机制的基本思想，是把程序所需的内存空间的虚拟地址映射到某个物理地址空间中，分段机制可以解决地址空间保护问题。如果一个进程访问了没有映射的虚拟地址空间，或者访问了不属于该进程的虚拟地址空间，那么CPU会捕捉这个越界访问，并且拒绝该次访问。同时CPU会发送一个异常操作给操作系统，由操作系统处理这些异常，这就是常说的缺页异常。分段机制就是把程序分成了若干段，包括text、data、BSS、stack和heap，其中data存放的是已初始化的全局变量（这里包括初始化了的静态变量），BSS存放的是未初始化的静态变量，text存放的是代码段。
分段机制的粒度比较大，是以进程为单位，这样内存的使用率很低，也就是说，在物理内存不够的情况下，通常做法就是将进程所有段置换到磁盘空间，这样会导致大量块设备IO操作，从而影响整个系统性能。

2、分页机制

分页机制是将内存分配的粒度固定到以页面为大小，进程的虚拟地址空间也按照页面来分割，这样常用的数据和代码就可以以页面为单位驻留到内存中，而那些不常用的页面可以交换到磁盘中，当然后续再使用这些页面时可以通过页缓存(Page Cache)的方式提高对置换到磁盘中的数据的访问，这样能够做到节省物理内存（这里需要注意的是，如果页缓存过大，同样会浪费物理内存）。再MMU中，进程以页面为单位，将虚拟内存通过CPU硬件单元映射到物理内存中，这样物理内存也是以页面为单位进行管理，物理页面又称为页帧(Page frame)，每个物理页面都有一个编号称为页帧号(Page frame Number，PFN)，当前内核版本支持三种页面大小：4KB、16KB和64KB，分别对应的内核配置(以ARM64为例)是CONFIG_ARM64_4K_PAGES、CONFIG_ARM64_16K_PAGES和CONFIG_ARM64_64K_PAGES，在物理内存很大（如服务器级别的内存多数以TB为单位）的情况下，页面大小越小，内存管理成本越高，产生的性能缺陷越多，这个时候需要处理器对巨/大页的支持，如2M、1GB的巨页。
对于不同的处理器，MMU硬件单元的组成不同，ARM64的MMU包括了TLB和页表遍历单元两个部件。

3、VirtAddr与PhyAddr的转换

当TLB未命中时，32位处理器查询页表的过程如下图
在这里插入图片描述

处理器以虚拟地址的Bit[32:20]作为索引值，在一级页表中找到页表项。
一级页表的表项存放的是二级页表表项的物理基地址，处理器以虚拟地址的Bit[19:12]作为索引值，在二级页表中找到相应的页表项；
二级页表的页表项中存放的是单个页面大小(如4KB)的物理基地址，以此基地址加上虚拟地址的页内偏移量Bit[11:0]，最后得到的就是最终的物理地址。
这个过程就是页表查询与翻译。
arm64处理器的页表查询过程如下图所示：
在这里插入图片描述
具体页表查询和翻译过程为：
1、处理器根据页表基地址控制寄存器和虚拟地址来判断使用哪个页表基地址寄存器，页表基地址寄存器有两种，分别是TTBR0和TTBR1。当虚拟地址的第63位为1时选择TTBR1，当虚拟地址的第63位为0时选择TTBR0。这两个页表基地址寄存器的作用于32位arm的页表基地址一样，用于存放1级页表（L0页表）的基地址。
2、处理器分别将虚拟地址的47:39（简称VA[47:39]）作为L0页表索引，将VA[38:30]作为L1页表的索引，将VA[29:20]作为L2页表的索引，将VA[19:12]作为L3页表的索引，将VA[11:0]作为页面地址偏移。
3、每个页表都有512个页表项，4级页表项里面存放的是页面地址的基地址，L0存放的是L1的基地址，L1存放的是L2的基地址，L2存放的是L3的基地址。物理地址由L3页表存放的物理基地址加上VA[11:0]存放的地址偏移构成。

4、数据结构

在这里插入图片描述
Linux内存管理区可分为以下几种：
ZONE_DMA：用于ISA设备的DMA操作，范围是0~10MB，只适用于x86架构，arm架构无该内存管理区

5、ARM32和ARM64内存结构区分

ARM32内存结构

arm32总共有4G虚拟内存寻址空间，其中高地址位内核空间，地址范围为3G ~ 4G ( 0xBFFFFFFF~0xFFFFFFFF），低地址为用户空间，地址范围0 ~ 3G（0x00000000 ~ 0xC0000000）

ARM64内存结构

arm64不同于arm32，arm64内存大小几乎不受限制， 总共分为三段，低地址的用户空间，中间部分的非规范区域，以及高地址的内核空间，用户空间和内核空间地址范围由内核配置CONFIG_ARM64_VA_BITS以及页面大小CONFIG_ARM64_XK_PAGES（X有4/16和64三个值）决定。
CONFIG_ARM64_XK_PAGES决定了当前系统单个页面大小。
CONFIG_ARM64_VA_BITS决定了PAGE_OFFSET、VA_START、TASK_SIZE等值的大小，同时影响了用户内存和内核内存的地址范围，表示的是虚拟地址空间大小，CONFIG_ARM64_VA_BITS配置的值依赖于页面内存大小，对于4K页面，该配置只有两种39-bit和48-bit，对于16K页面，该配置有47-bit和48-bit两种，对于64K页面，该配置支持42-bit、48-bit和52-bit三种值。下面介绍CONFIG_ARM64_VA_BITS如何换算虚拟内存地址空间：

#define VMEMMAP_SHIFT	(PAGE_SHIFT - STRUCT_PAGE_MAX_SHIFT)
#define VMEMMAP_SIZE	((_PAGE_END(VA_BITS_MIN) - PAGE_OFFSET) >> VMEMMAP_SHIFT)

/*
 * PAGE_OFFSET - the virtual address of the start of the linear map, at the
 *               start of the TTBR1 address space.
 * PAGE_END - the end of the linear map, where all other kernel mappings begin.
 * KIMAGE_VADDR - the virtual address of the start of the kernel image.
 * VA_BITS - the maximum number of bits for virtual addresses.
 */
#define VA_BITS			(CONFIG_ARM64_VA_BITS)
#define _PAGE_OFFSET(va)	(-(UL(1) << (va)))
#define PAGE_OFFSET		(_PAGE_OFFSET(VA_BITS))
#define KIMAGE_VADDR		(MODULES_END)
#define BPF_JIT_REGION_START	(_PAGE_END(VA_BITS_MIN))
#define BPF_JIT_REGION_SIZE	(SZ_128M)
#define BPF_JIT_REGION_END	(BPF_JIT_REGION_START + BPF_JIT_REGION_SIZE)
#define MODULES_END		(MODULES_VADDR + MODULES_VSIZE)
#define MODULES_VADDR		(BPF_JIT_REGION_END)
#define MODULES_VSIZE		(SZ_128M)
#define VMEMMAP_START		(-(UL(1) << (VA_BITS - VMEMMAP_SHIFT)))
#define VMEMMAP_END		(VMEMMAP_START + VMEMMAP_SIZE)
#define PCI_IO_END		(VMEMMAP_START - SZ_8M)
#define PCI_IO_START		(PCI_IO_END - PCI_IO_SIZE)
#define FIXADDR_TOP		(VMEMMAP_START - SZ_32M)

#if VA_BITS > 48
#define VA_BITS_MIN		(48)
#else
#define VA_BITS_MIN		(VA_BITS)
#endif

#define _PAGE_END(va)		(-(UL(1) << ((va) - 1)))

#define KERNEL_START		_text
#define KERNEL_END		_end

/*
 * Generic and tag-based KASAN require 1/8th and 1/16th of the kernel virtual
 * address space for the shadow region respectively. They can bloat the stack
 * significantly, so double the (minimum) stack size when they are in use.
 */
#if defined(CONFIG_KASAN_GENERIC) || defined(CONFIG_KASAN_SW_TAGS)
#define KASAN_SHADOW_OFFSET	_AC(CONFIG_KASAN_SHADOW_OFFSET, UL)
#define KASAN_SHADOW_END	((UL(1) << (64 - KASAN_SHADOW_SCALE_SHIFT)) \
					+ KASAN_SHADOW_OFFSET)
#define PAGE_END		(KASAN_SHADOW_END - (1UL << (vabits_actual - KASAN_SHADOW_SCALE_SHIFT)))
#define KASAN_THREAD_SHIFT	1
#else
#define KASAN_THREAD_SHIFT	0
#define PAGE_END		(_PAGE_END(VA_BITS_MIN))
#endif /* CONFIG_KASAN */

#define MIN_THREAD_SHIFT	(14 + KASAN_THREAD_SHIFT)

/*
 * VMAP'd stacks are allocated at page granularity, so we must ensure that such
 * stacks are a multiple of page size.
 */
#if defined(CONFIG_VMAP_STACK) && (MIN_THREAD_SHIFT < PAGE_SHIFT)
#define THREAD_SHIFT		PAGE_SHIFT
#else
#define THREAD_SHIFT		MIN_THREAD_SHIFT
#endif

#if THREAD_SHIFT >= PAGE_SHIFT
#define THREAD_SIZE_ORDER	(THREAD_SHIFT - PAGE_SHIFT)
#endif

#define THREAD_SIZE		(UL(1) << THREAD_SHIFT)
qq_25346431
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux系统存储管理2
俗人的博客
08-03 230
Linux系统存储管理2一、存储管理1.文件系统详解（EXT4文件系统）1.1简介1.2示例2.文件链接2.1符号链接/软连接2.2硬链接3.RAID3.1简介3.2类型3.3不同场景RAID的使用3.4软RAID示例二、Linux磁盘分区通用方案及意义 一、存储管理 1.文件系统详解（EXT4文件系统） 1.1简介 1.名词解释 EXT4：Fourth extended filesystem，是第四代扩展文件系统。 XFS：XFS是一种高性能的日志文件系统。 2.类型 索引（index）文件系统 3.系统
Linux系统的存储管理
m0_48654420的博客
08-01 323
存储管理1基本分区逻辑卷LVM交换分区管理Swap 基本分区 磁盘概念 磁盘/硬盘/disk是同一样东西，与内存的差别就是容量比较大 类型 从工作原理上分为机械硬盘和固态硬盘. 机械硬盘：是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。 固态硬盘：固态驱动器（Solid State Disk或Solid State Drive，简称SSD），俗称固态硬盘，固态硬盘是用固态电子存储芯片阵列而制成的硬盘 磁盘大小4K 扇区（Sec
Linux内存管理之基本概念介绍（一）
wyttRain的博客
11-27 505
Linux内存管理之基本概念介绍（一） 我们知道，在linux操作系统中，cpu在执行一个进程的时候，都会访问到内存。但是CPU并不是直接访问物理内存地址，而是通过虚拟地址空间来间接访问到物理内存。操作系统通过在虚拟地址和物理地址之间建立映射关系，来让CPU可以间接访问到物理地址。想要了解Linux内存管理，那么需要先了解一下Linux内存管理的一些基本名词。 虚拟地址空间： 操作系统为每一个正在执行的进程分配的一个逻辑地址 页： 通过将虚拟地址空间以512Byte~8K的大小作为一个单位，这个单位就被称
【内存】关于内存的一些名词解释
jiangwei0512的博客
11-07 1948
本文介绍内存时序配置中最重要的几个参数。
网络驱动-＞PHY驱动分析
lkdom
07-23 2244
内核源码版本4.19.219，为了学习了解phy的流程加上网上看的一些资料记录一下phy的流程，方便以后添加phy的时候查看后面贴上了原文博主的链接，受大佬的启发学到不少。
实验三Linux内存管理编程技术
最新发布
09-23
实验三“Linux内存管理编程技术”旨在深入理解Linux操作系统中的内存管理和编程技术。在这个实验中，学生将通过几个关键的步骤来增进对内存管理的理解，包括使用`malloc()`函数、内核模块编程以及探究内存缺页的概念...
Linux内核内存管理解析.docx
02-23
本文将探讨Linux内核内存管理的基础知识，包括不同类型的内存区域和它们的作用。 1. **内存区域** - **代码段**：存储可执行文件的操作指令，只读不写，保证程序执行的稳定性。 - **数据段**：包含已初始化的全局...
linux内存管理.pdf
04-19
总之，“Linux内存管理.pdf”所提供的实验，不仅深化了对内存管理理论的理解，也通过实际操作加深了对物理页面与页表管理技巧的掌握。通过实现指定函数并进行细致的检查，学习者能够构建起一个高效、稳定的内存管理...
了解Linux虚拟内存管理器Understanding the Linux Virtual Memory Manager
10-28
详细描述Linux虚拟内存，提供理论基础和逐行源代码注释。 它系统地涵盖了从物理内存描述到内存不足管理的所有内容。
linux系统读写eth网卡PHY寄存器工具mdio_mmd_indirect
zgp2917的专栏
11-17 1万+
#include <sys/types.h> #include <sys/socket.h> #include <sys/ioctl.h> #include <linux/if.h> #include <linux/mii.h> #include <linux/sockios.h> #include <errno.h> #include <stdio.h> #include <string.h> .
kernel启动流程-head.S的执行___6.create_page_tables
HZero
12-22 1400
1.前言 kernel版本：5.10 平台：arm64 本专题主要基于《arm64_linux head.S的执行流程》系列文章，前者是基于3.18，本专题针对的是内核5.10。主要分析head.S的执行过程。本文主要记录head.S的create_page_tables执行过程。 2. create_page_tables /* * Setup the initial page tables. We only setup the barest amount which is * required to
【arm】ARM32和AARCH64的几点区别
CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。
11-11 1万+
Date: 2018.11.11 学习参考： https://blog.csdn.net/listener51/article/details/82856001 1、指令编码长度 A32模式（ARM instruction sets），指令固定的编码长度为32bit T32模式（Thumb instruction sets），指令可以编码成16bit长，也可编码成32bit长 A64模式（AAr...
PHY设备驱动综合分析
小强看星星
03-14 7509
PHY设备驱动分析 声明： 使用原创资料较多就不一一列举，望海涵。我原创也不少咯。 MAC和PHY可能是集成在CPU中可能独立，下图介绍典型的MAC集成，PHY独立。两者搭配实现网卡功能。 struct phy_device { struct phy_driver *drv; //PHY设备驱动 struct mii_bus *bus; //对应的MII总线 struct device dev; ...
arm64的适配问题，这次真醉了
aifanlu4798的博客
02-17 541
写过tableView的童鞋都知道，有必须的两个代理方法要实现，还有几个选择实现的。 必须实现的代理方法： ~设置行数 - (NSInteger)tableView:(UITableView *)tableView numberOfRowsInSection:(NSInteger)section; ~初始化并设置cell样式及内容 - (UITableVi...
一文看懂arm架构和x86架构有什么区别
热门推荐
bleauchat的博客
05-11 17万+
本文主要介绍的是arm架构和x86架构的区别，首先介绍了ARM架构图，其次介绍了x86架构图，最后从性能、扩展能力、操作系统的兼容性、软件开发的方便性及可使用工具的多样性及功耗这五个方面详细的对比了arm架构和x86架构的区别，具体的跟随小编一起来了解一下. 什么叫arm架构 ARM架构过去称作进阶精简指令集机器（AdvancedRISCMachine，更早称作：AcornRISCMachin...
linux内存管理笔记(三十七）----临时页表映射过程
奇小葩
03-06 3065
为了降低启动代码的复杂性，进入linux内核的时候，MMU使关闭的。如果关闭MMU，意味着不能利用高速缓存的性能，那么内核使如何要打开MMU并使能数据高速缓存呢？ 在关闭MMU的情况下，处理器访问的地址都是物理地址。当MMU打开后，处理器访问地址就变成虚拟地址 目前的处理器都是多级流水行架构，处理器会提前预取多条指令到流水线中。当打开MMU后，处理器之前预取的指令就会以虚拟地址来访问，到MMU查找对应的物理地址。 因此，为了保证处理器在开启MMU后，能完成从物理地址到虚拟地址的平滑过渡，首先会创建V
iOS armv7, armv7s, arm64区别与应用32位、64位配置
遇见更好的自己
08-10 4972
iOS armv7, armv7s, arm64区别与应用32位、64位配置历程1、2015年2月1日不允许不支持arm64的应用的提交； 2、iOS10发布后，如果你的应用中使用到了32位的类、库，没有相应支持64位机型的库，则首次启动后会弹窗式提示：“ xxx可能使iPhone变慢…”； 3、iOS10.3公测版发布:封杀32位应用； 4、苹果系统（iOS7/iOS8-iOS9）,32位的
linux系统资源分析 - 内存篇
chen250727498的博客
06-22 3087
目录一、早期的内存使用与内存管理技术演变二、free命令详解2.1 基本名词解析2.2 buffer 与 cache 的区别？2.3 内存计算公式2.4 物理内存使用公式2.4.1 只有物理内存，无swap2.4.2 有物理内存，有swap2.4.3 如何手动释放buffer 和cache 内存2.5 内存阈值定义2.6 swap 太大或太小会遇到的几个问题2.6.1 swap 太大，套用公式是否合理2.6.2 swap 太小，套用公式是否合理三、内存利用率瓶颈怎么去分析四、vmstat 内存分析命令详解4
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值