页表缓存(TLB)和巨型页的实现

已于 2022-08-08 20:44:17 修改
阅读量898 收藏 6
点赞数
分类专栏： linux 内核内存管理 文章标签： 缓存 巨型页
于 2022-08-06 01:20:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53111905/article/details/126188236
版权

主要参考了《深入linux内核》和《Linux内核深度解析》，另外简单浅析了一下相关内容

文章目录

ARM64-页表缓存(TLB)

为了改进虚拟地址到物理地址的转换速度，避免每次转换都需要查询内存中的页表，处理器厂商在内存管理单元(MMU)里增加一个TLB(Translation LookasideBuffer)的高速缓存，TLB直译为转译后备缓冲器，也被翻译为页表缓存。

TLB为CPU的一种缓存，由存储器管理单元用于改进虚拟地址到物理地址的转译速度。TLB 用于缓存一部分标签页表条目。
TLB可介于 CPU 和CPU缓存之间，或在CPU缓存和主存之间，这取决于CPU缓存使用的是物理寻址或是虚拟寻址。

TLB表项格式

不同处理器架构的TLB表项的格式不同。
ARM64处理器的每条TLB表项不仅包含虚拟地址和物理地址，
也包含属性：内存类型、缓存策略、访问权限、地址空间标识符(ASID)及虚拟机标识符(VMID)

地址空间标识符区分不同进程的页表项，虚拟机标识符区分不同虚拟机的页表项。

TLB管理

若内核修改了可能缓存在TLB里面的页表项，那么内核必须负责使用旧的TLB表项失效，内核定义每种处理器架构必须实现的函数，具体可查阅源码分析如下：

arch\arm64\include\asm\tlbflush.h

页表改变之后刷新TLB的函数

static inline void flush_tlb_all(void); // 使所有的TLB表项失效

// 使指定用户地址空间的所有TLB表项失效，参数mm是进程的内存描述符
static inline void flush_tlb_mm(struct mm_struct *mm);

// 使指定用户地址空间的某个范围TLB表项失效，
// 参数vma虚拟内存区域，start是起始地址，end是结束地址。
static inline void flush_tlb_range(struct vm_area_struct *vma,
				   unsigned long start, unsigned long end);

// 使指定用户地址空间里面的指定虚拟页的TLB表项失效，
// 参数vma是虚拟内存区域，uaddr是一个虚拟页中的任意虚拟地址
static inline void flush_tlb_page(struct vm_area_struct *vma,
				  unsigned long uaddr);

// 使内核的某个虚拟地址范围的TLB表项失效，参数start是起始地址，end是结束地址
static inline void flush_tlb_kernel_range(unsigned long start, unsigned long end);

// 内核把进程从一个处理器迁移到另一个处理器以后，调用该函数以更新页表缓存或上下文特定信息
void tlb_migrate_finish(struct mm_struct *mm);

修改页表项以后把页表项设置到页表缓存
由软件管理页表缓存的处理器必须实现该函数，例如MIPS处理器
ARM64处理器的内存管理单元可以访问内存中的页表，把页表项复制到页表缓存，所以ARM64架
构的函数update_mmu_cache什么都不用做

当TLB没有命中时，ARM64处理器的内存管理单元自动遍历内存中的页表，把页表复制到TLB，不需要软件把页表写到TLB，所以ARM64架构没有提供写TLB的指令。

TLB失效指令

ARM64架构提供一条TLB失效指令

TLBI <type> <level> {IS} {,<Xt>}

  • 字段常见选项
    • ALL：所以表项
    • VMALL：当前虚拟机的阶段1所有的表项，即表项的VMID是当前虚拟机的VMID，虚拟机里面运行客户操作系统的虚拟地址转换成物理地址分成两个阶段，第1阶段把虚拟地址转换成中间物理地址，第2阶段把中间物理地址转换成物理地址。
    • ASID:匹配寄存器Xt指定的ASID的表项。
    • VA:匹配寄存器Xt指定的虚拟地址和ASID的表项。
    • VAA:匹配寄存器Xt指定的虚拟地址并且ASID可以是任意值的表项。
  • 字段指定异常级别
    • E1:异常级别1。E2:异常级别2。E3:异常级别3。
  • 字段{IS}表示内部共享，即多个核共享 ，如果不使用字段IS，表示非共享，只被一个核使用。
  • 字段Xt是X0-X31中的任何一个寄存器
// 使所有核的所有TLB表项失效
static inline void flush_tlb_all(void)
{
    // 确保屏障之前的存储指令执行完毕，dsb是数据同步的屏障
	dsb(ishst);
    // 是所有核上匹配VMID，阶段1和异常级别1的所有TLB表项失效
	__tlbi(vmalle1is);
    // 确保之前的TLB失效指令执行完毕，ish表示数据同步屏障指令对所有和起作用
	dsb(ish);
    // 指令同步屏障，冲刷处理器流水线，重新读取屏障指令后面的所有指令
	isb();
}

// 宏展开
static inline void flush_tlb_all(void)
{
     asm volatile("dsb ishst" : : : "memory");
     asm ("tlbi vmalle1is" : :);
     asm volatile("dsb ish" : : : "memory");
     asm volatile("isb" : : : "memory");
}

/*
    此函数和flush_tlb_all区别在于:
    1、指令dsb中字段ish换成nsh，nsh是非共享(non-shareable)，表示数据同步屏障指令仅仅在当前核起作用;
    2、指令tlbi没有携带字段is，表示仅仅使当前核的TLB表项失效。
*/
static inline void local_flush_tlb_all(void)
{
	dsb(nshst);
	__tlbi(vmalle1);
	dsb(nsh);
	isb();
}

地址空间标识符 ASID 和 ASID版本号

为了减少在进程切换时清空页表缓存的需要，ARM64处理器的页表缓存（TLB）使用非全局（not global, nG）位区分内核和进程的页表项，使用地址空间标识符（Address SpaceIdentifer,ASID）区分不同进程的页表项。

ARM64处理器ASID长度是由具体实现定义的，可以选择8位或者16位，寄存器ID_AA64MMFRO_EL1（AArch64内存模型特性寄存器0，AArch64 Memory Model FeatureRegister 0）的字段ASIDBits存放处理器支持的ASID长度。

在SMP系统中，ARM64架构要求ASID在处理器的所有核上是唯一的。

平时为了方便描述，假设ASID长度是8位，ASID只有256个值，其中0是保留值，可分配ASID范围是1-255，进程的数量可能超过255个，两个进程ASID可能相同，如何解决此问题，内核引入ASID版本号:

  • a.每个进程有一个 64位的软件ASID ，低8位存放硬件ASID，高56位存放ASID版本号;
  • b.64位全局变量的高56位保存全局ASID版本号;
  • c.当进程被调度时，比较进程的ASID版本号和全局ASID版本号，如果版本号相同，直接使用上次分配的硬件ASID（全局ASID版本号未更新）。否则需要给进程重新分配硬件ASID。

引入ASID版本号好处在哪里：避免每次进程切换都需要清空页表缓存，只需要在==硬件ASID回绕（从255回到0清空后变为1）==时把处理器的页表缓存清空。
内存描述符的成员context存放架构特定的内存管理上下文，数据类型是结构体mm context_t。ARM64架构定义结构体类型如下:

arch\arm64\include\asm\mmu.h

#ifndef __ASM_MMU_H
#define __ASM_MMU_H

typedef struct {
	atomic64_t	id; // 成员id存放内核给进程分配的软件ASID
	void		*vdso;
	unsigned long	flags;
} mm_context_t;

全局变量asid_bits保存ASID长度，全局变量asid_generation的高56位保存全局ASID版本号，位图asid_map记录哪些ASID被分配。

每处理器变量active_asids保存处理器正在使用的ASID，即处理器正在执行的进程的ASID；每处理器变量reserved_asids存放保留的ASID，用来在全局ASID版本号加1时保存处理器正在执行的进程的ASID。

处理器给进程分配ASID时，如果ASID分配完了（变为0），那么把全局ASID版本号加1，重新从1开始分配ASID，针对每个处理器，使用该处理器的reserved_asids保存该处理器正在执行的进程的ASID，并且把该处理器的active_asids设置为0。
active_asids为0具有特殊含义，说明全局ASID版本号变化，ASID从255回绕到1。

当全局ASID版本号加1时，每个处理器需要清空页表缓存，位图tlb_flush_pending保存需要清空页表缓存的处理器集合。

arch\arm64\mm\context.c

static u32 asid_bits; // 保存ASID长度
static DEFINE_RAW_SPINLOCK(cpu_asid_lock);

static atomic64_t asid_generation; // 高56位保存全局ASID版本号
static unsigned long *asid_map; // 位图asid_map记录哪些ASID被分配

static DEFINE_PER_CPU(atomic64_t, active_asids); // 保存处理器正在使用的ASID
static DEFINE_PER_CPU(u64, reserved_asids); // 保留的ASID，用来在全局ASID版本号加1时保存处理器正在执行的进程的ASID
static cpumask_t tlb_flush_pending;

当进程被调度时，函数check_and_switch_context负责检查是否需要给进程重新分配ASID

__schedule() -> context_switch() -> switch_mm_irqs_off() -> switch_mm() -> check_and_switch_context()
arch/arm64/mm/context.c

函数new_context负责分配ASID

函数flush_context负责重新初始化ASID分配状态

虚拟机标识符

虚拟机里面运行的客户操作系统的虚拟地址换成物理地址分两个阶段：第1阶段把虚拟地址转换成中间物理地址，第2阶段把中间物理地址转换成物理地址。

  • 第1阶段转换由客户操作系统的内存控制，和非虚拟化的转换过程相同。
  • 第2阶段转换由虚拟机监控器控制，虚拟机监控器为每个虚拟机维护一个转换表，分配一个虚拟机标识符（Virtual MachineIdentifier,VMID），寄存器VTTBR_EL2（虚拟化转换表基准寄存器，VirtualizationTranslation Table Base Register）存放当前虚拟机的阶段2转换表的物理地址。

巨型页

当运行内存需求量较大的应用程序时，如果使用长度为4KB的页，将会产生较多的TLB未命中和缺页异常，严重影响应用程序的性能。如果使用长度为2MB甚至更大的巨型页，可以大幅减少TLB未命中和缺页异常的数量，大幅提高应用程序的性能。这才是内核引入巨型页（Huge Page）的真正原因。

巨型页首先需要处理器能够支持，然后需要内核支持，内核有两种实现方式：

  • 使用hugetlbfs伪文件系统实现巨型页；
    • hugetlbfs文件系统是一个假的文件系统，只是利用了文件系统的编程接口。使用hugetlbfs文件系统实现的巨型页称为hugetblfs巨型页、传统巨型页或标准巨型页，这里统一称为标准巨型页。
  • 透明巨型页。

优缺点

  1. 标准巨型页的优点是预先分配巨型页到巨型页池，进程申请巨型页的时候从巨型池取，成功的概率很高，缺点是应用程序需要使用文件系统的编程接口。
  2. 透明巨型页（临时巨型页）的优点是对应用程序透明，缺点是动态分配，在内存碎片化的时候分配成功的概率很低。

处理器对巨型页的支持

ARM64处理器支持巨型页的方式有两种。
（1）通过块描述符支持。
（2）通过页/块描述符的连续位支持。

通过块描述符支持巨型页

如果页长度是4KB，那么使用4级转换表，0级转换表不能使用块描述符，1级转换表的块描述符指向1GB巨型页，2级转换表的块描述符指向2MB巨型页。
如果页长度是16KB，那么使用4级转换表，0级转换表不能使用块描述符，1级转换表不能使用块描述符，2级转换表的块描述符指向32MB巨型页。
如果页长度是64KB，那么使用3级转换表，1级转换表不能使用块描述符，2级转换表的块描述符指向512MB巨型页。

image-20220618155751259

通过页/块描述符的连续位支持巨型页

页/块描述符中的连续位指示表项是一个连续表项集合中的一条表项，一个连续表项集合可以被缓存在一条TLB表项里面。

通常所说的，进程申请了n页的虚拟内存区域，然后申请了n页的物理内存区域，使用n个连续的页表项把每个虚拟页映射到物理页，每个页表项设置了连续标志位，当处理器的内存管理单元遍历内存的页表时，访问到n个页表项中的任何一个页表项。
发现页表项设置了连续标志位，就会把n个页表项合并以后填充到TLB表项 （n是固定）。

  • 假设:页长度为4KB，那么使用4级转换表，1级转换表的块描述符不能使用连续位;2级转换表的块描述符支持16个连续块，即支持（16*2MB=32MB）巨型页，3级转换表的页描述符支持16个连续页，即支持（16*4KB=64K）巨型页。

    如下图，页长度为4KB时通过页/块描述符的连续位支持巨型页

    image-20220805234700283

  • 假设:如果页长度16KB，那么我们使用4级转换表，2级转换表的块描述符支持32个连续块，即支持(32*32MB=1GB)巨型页; 3级转换表的页描述符支持128个连续页，即支持（128*16KB=2MB）巨型页。

  • 假设:如果页长度64KB，那么使用3级转换表，2级转换表的块描述符不能使用连续位;3级转换表的页描述符支持32个连续页。即支持(32*64KB=2MB)巨型页。

标准巨型页

使用方法

编译内核时需要打开配置宏CONFIG_HUGETLBFS和CONFIG_HUGETLB_PAGE（打开配置宏CONFIG_HUGETLBFS的时候会自动打开）。

通过文件“/proc/sys/vm/nr_hugepages”指定巨型页池中永久巨型页的数量，预先分配指定数量的永久巨型页到巨型页池中。另一种方法是在引导内核时指定内核参数“hugepages=N”以分配永久巨型页，这是分配巨型页最可靠的方法，因为内存还没有碎片化。

有些平台支持多种巨型页长度。**如果要分配特定长度的巨型页，必须在内核参数“hugepages”前面添加选择巨型页长度的参数“hugepagesz=<size>[kKmMgG]”。可以使用内核参数“default_hugepagesz=<size>[kKmMgG]”选择默认的巨型页长度。**文件“/proc/ sys/vm/nr_hugepages”表示默认长度的永久巨型页的数量。

通过文件“/proc/sys/vm/nr_overcommit_hugepages”指定巨型页池中临时巨型页的数量，当永久巨型页用完的时候，可以从页分配器申请临时巨型页。

nr_hugepages是巨型页池的最小长度，（nr_hugepages + nr_overcommit_hugepages）是巨型页池的最大长度。这两个参数的默认值都是0，至少要设置一个，不然分配巨型页会失败。

创建匿名的巨型页映射，其代码如下：

#define MAP_LENGTH      (10 * 1024 * 1024)
addr = mmap(0, MAP_LENGTH, PROT_READ | PROT_WRITE, 
             MAP_ANONYMOUS | MAP_HUGETLB, -1, 0);

如果要创建基于文件的巨型页映射，首先管理员需要在某个目录下挂载hugetlbfs文件系统：

mount -t hugetlbfs \
   -o uid=<value>,gid=<value>,mode=<value>,pagesize=<value>,size=<value>,\ 
   min_size=<value>,nr_inodes=<value>  none  <目录>

各选项的意思如下。
（1）选项uid和gid指定文件系统的根目录的用户和组，默认取当前进程的用户和组。
（2）选项mode指定文件系统的根目录的模式，默认值是0755。
（3）如果平台支持多种巨型页长度，可以使用选项pagesize指定巨型页长度和关联的巨型页池。如果不使用选项pagesize，表示使用默认的巨型页长度。
（4）选项size指定允许文件系统使用的巨型页的最大数量。如果不指定选项size，表示没有限制。
（5）选项min_size指定允许文件系统使用的巨型页的最小数量。挂载文件系统的时候，申请巨型页池为这个文件系统预留选项min_size指定的巨型页数量。如果不指定选项min_size，表示没有限制。
（6）选项nr_inodes指定文件系统中文件（一个文件对应一个索引节点）的最大数量。如果不指定选项nr_inodes，表示没有限制。

假设在目录“/mnt/huge”下挂载了hugetlbfs文件系统，应用程序在hugetlbfs文件系统中创建文件，然后创建基于文件的内存映射，这个内存映射就会使用巨型页。

#define MAP_LENGTH          (10 * 1024 * 1024)
fd = open("/mnt/huge/test", O_CREAT | O_RDWR, S_IRWXU);
addr = mmap(0, MAP_LENGTH, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);

应用程序可以使用开源的hugetlbfs库，这个库对hugetlbfs文件系统做了封装。使用hugetlbfs库的好处如下。

（1）启动程序时使用环境变量“LD_PRELOAD=libhugetlbfs.so”把hugetlbfs库设置成优先级最高的动态库，malloc()使用巨型页，对应用程序完全透明，应用程序不需要修改代码。

（2）可以把代码段、数据段和未初始化数据段都放在巨型页中。

查看巨型页信息

通过文件执行：cat /proc/meminfo

image-20220618164124299

这些字段的意思如下。
（1）HugePages_Total：巨型页池的大小。
（2）HugePages_Free：巨型页池中没有分配的巨型页的数量。
（3）HugePages_Rsvd：“Rsvd”是“Reserved”的缩写，意思是“预留的”，是已经承诺从巨型页池中分配但是还没有分配的巨型页的数量。预留的巨型页保证应用程序在发生缺页异常的时候能够从巨型页池中分配一个巨型页。
（4）HugePages_Surp：“Surp”是“Surplus”的缩写，意思是“多余的”，是巨型页池中临时巨型页（临时分配的）的数量。临时巨型页的最大数量由“/proc/sys/vm/nr_overcommit_hugepages”控制。
（5）Hugepagesize：巨型页的大小。

实现原理

巨型页池

内核使用巨型页池管理巨型页。有的处理器架构支持多种巨型页长度，每种巨型页长度对应一个巨型页池，有一个默认的巨型页长度，默认只创建巨型页长度是默认长度的巨型页池。比如ARM64架构在页长度为4KB的时候支持巨型页长度是1GB 32MB 2MB 64KB，默认的巨型页长度是2MB，默认只有创建巨型页长度是2MB的巨型页池。

**默认只创建巨型页长度是2MB的巨型页池。**如果需要创建巨型页长度不是默认长度的巨型页池，可以在引导内核时指定内核参数“hugepagesz=<size>[kKmMgG]”，长度必须是处理器支持的长度。
可以使用内核参数“default_hugepagesz=<size>[kKmMgG]”选择默认的巨型页长度

相关数据结构

巨型页池的数据结构是结构体hstate

// 全局变量hugetlb_max_hstate是巨型页池的数量
int hugetlb_max_hstate __read_mostly;
// 全局变量是默认巨型页池的索引
unsigned int default_hstate_idx;
// 全局数组hstates是巨型页池数组
struct hstate hstates[HUGE_MAX_HSTATE];

巨型页池中的巨型页分为两种。

  • 永久巨型页:是保留的，不能有其他用途，被预先分配到巨型页池，当进程释放永久巨型页的时候，永久巨型页被归还到巨型页池。
  • 临时巨型页:也称为多余的(surplus)巨型页，当永久巨型页用完的时候，可以从页分配器分配临时巨型页；进程释放临时巨型页的时候，直接释放到页分配器。当设备长时间运行后，内存可能碎片化，分配临时巨型页可能会失败。
struct hstate

巨型页池的数据结构hstate的主要成员

struct hstate {
    // 分配永久巨型页并添加到巨型页池中的时候，在允许的内存节点集合中轮流从每个内存节点分配永久巨型页，这个成员用来记录下次从哪个内存节点分配永久巨型页
	int next_nid_to_alloc;
    // 从巨型页池释放空闲巨型页的时候，在允许的内存节点集合中轮流从每个内存节点释放巨型页，这个成员用来记录下次从哪个内存节点释放巨型页
	int next_nid_to_free;
    
	unsigned int order; // 巨型页的长度，页的阶数
	unsigned long mask; // 巨型页页号的掩码，将虚拟地址和掩码按位与，得到巨型页页号
    
	unsigned long max_huge_pages; // 永久巨型页的最大数量
	unsigned long nr_huge_pages; // 巨型页的数量
	unsigned long free_huge_pages; // 空闲巨型页的数量
	unsigned long resv_huge_pages; // 预留巨型页的数量，它们已经承诺分配但还没有分配
	unsigned long surplus_huge_pages; // 临时巨型页的数量
	unsigned long nr_overcommit_huge_pages; // 临时巨型页的最大数量
	struct list_head hugepage_activelist;  // 每个内存节点一个空闲巨型页链表
	struct list_head hugepage_freelists[MAX_NUMNODES];  // 把已分配出去的巨型页链接起来
    
	unsigned int nr_huge_pages_node[MAX_NUMNODES]; // 每个内存节点中巨型页的数量
	unsigned int free_huge_pages_node[MAX_NUMNODES]; // 每个内存节点中空闲巨型页的数量
	unsigned int surplus_huge_pages_node[MAX_NUMNODES]; // 每个内存节点中临时巨型页的数量
#ifdef CONFIG_CGROUP_HUGETLB
	/* cgroup control files */
	struct cftype cgroup_files[5];
#endif
	char name[HSTATE_NAME_LEN]; // 巨型页池的名称，格式是“hugepages-<size>kB”
};
预先分配永久巨型页

预先分配指定数量的永久巨型页到巨型页池中有两种方法。
1）最可靠的方法是在引导内核时指定内核参数“hugepages=N”来分配永久巨型页，因为内核初始化的时候内存还没有碎片化。
有些处理器架构支持多种巨型页长度。如果要分配特定长度的巨型页，必须在内核参数“hugepages”前面添加选择巨型页长度的参数“hugepagesz=<size>[kKmMgG]”。

内核参数“hugepages=N”的处理函数是hugetlb_nrpages_setup

函数hugetlb_hstate_alloc_pages负责预先分配指定数量的永久巨型页

长度超过页分配器支持的最大阶数的巨型页已经从引导内存分配器中分配

如果巨型页长度小于或等于页分配器支持的最大阶数，那么从页分配器分配永久巨型页，添加到巨型页池中。

2）通过文件“/proc/sys/vm/nr_hugepages”指定默认长度的永久巨型页的数量。内核参数“hugepages=N”的处理函数是hugetlb_nrpages_setup。

文件“/proc/sys/vm/nr_hugepages”的处理函数是hugetlb_sysctl_handler，最终调用函数set_max_huge_pages来增加或减少永久巨型页

挂载hugetlbfs文件

hugetlbfs文件系统在初始化的时候，调用函数register_filesystem以注册hugetlbfs文件系统，hugetlbfs文件系统的结构体如下

fs/hugetlbfs/inode.c

static struct file_system_type hugetlbfs_fs_type = {
     .name          = "hugetlbfs",
     .mount         = hugetlbfs_mount,
     .kill_sb       = kill_litter_super,
};

挂载hugetlbfs文件系统的时候，挂载函数调用hugetlbfs文件系统的挂载函数hugetlbfs_mount，创建超级块和根目录，把文件系统和巨型页池关联起来。

如图3.66所示，超级块的成员s_fs_info指向hugetblfs文件系统的私有信息；成员s_blocksize是块长度，被设置为巨型页的长度

image-20220806004348501

结构体hugetlbfs_sb_info 描述hugetblfs文件系统的私有信息。

1）成员max_inode是允许的索引节点最大数量。
2）成员free_inodes是空闲的索引节点数量。
3）成员hstate指向关联的巨型页池。
4）如果指定了最大巨型页数量或最小巨型页数量，那么为巨型页池创建一个子池，成员spool指向子池。

结构体hugepage_subpool描述子池（从巨型页池中分出来的一个池子）的信息。
1）成员max_hpages是允许的最大巨型页数量。
2）used_hpages是已使用的巨型页数量，包括分配的和预留的。
3）成员hstate指向巨型页池。
4）成员min_hpages是最小巨型页数量。
5）成员rsv_hpages是子池向巨型页池申请预留的巨型页的数量。

其他系统调用

创建文件

调用系统调用open()，在hugetlbfs文件系统的一个目录下创建一个文件的时候，系统调用open最终调用函数hugetlbfs_create()为文件分配索引节点（结构体inode）并且初始化，索引节点的成员i_fop指向hugetlbfs文件系统特有的文件操作集合hugetlbfs_file_operations，这个文件操作集合的成员mmap方法是函数hugetlbfs_file_mmap()，这个函数在创建内存映射的时候很关键。

创建内存映射

在hugetlbfs文件系统中打开文件，然后基于这个文件创建内存映射时，系统调用mmap将会调用函数hugetlbfs_file_mmap()。
函数hugetlbfs_file_mmap()的主要功能如下。
1）设置标准巨型页标志VM_HUGETLB 和不允许扩展标志VM_DONTEXPAND。
2）虚拟内存区域的成员vm_ops指向巨型页特有的虚拟内存操作集合hugetlb_vm_ops。
3）检查文件的偏移是不是巨型页长度的整数倍。
4）调用函数hugetlb_reserve_pages()，向巨型页池申请预留巨型页。

分配和映射到巨型页

第一次访问巨型页的时候触发缺页异常，函数handle_mm_fault发现虚拟内存区域设置了标志VM_HUGETLB，调用巨型页的页错误处理函数hugetlb_fault。函数hugetlb_fault发现页表项是空表项，调用函数hugetlb_no_page以分配并且映射到巨型页。

函数hugetlb_no_page的执行过程如下。
1）在文件的页缓存中根据文件的页偏移查找页。
2）如果在页缓存中没有找到页，调用函数alloc_huge_page以分配巨型页。如果是共享映射，那么把巨型页加入文件的页缓存，以便和其他进程共享页。
3）设置页表项。
4）如果第一步在页缓存中找到页，映射是私有的，并且执行写操作，那么执行写时复制。

写时复制

假设进程1创建了私有的巨型页映射，然后进程1分叉生成进程2和进程3。其中一个进程试图写巨型页的时候，触发页错误异常，巨型页的页错误处理函数hugetlb_fault调用函数hugetlb_cow以执行写时复制。

函数hugetlb_cow的执行过程如下。
1）如果只有一个虚拟页映射到该物理页，并且是匿名映射，那么不需要复制，直接修改页表项设置可写。

2）分配巨型页。

3）处理分配巨型页失败的情况。

  • 如果触发页错误异常的进程是创建私有映射的进程，那么删除所有子进程的映射，为子进程的虚拟内存区域的成员vm_private_data设置标志
    HPAGE_RESV_UNMAPPED，让子进程在发生页错误异常的时候被杀死。
  • 如果触发页错误异常的进程不是创建私有映射的进程，返回错误。

4）把旧页的数据复制到新页。

5）修改页表项，映射到新页，并且设置可写。

透明巨型页

透明巨型页（Transparent Huge Page，THP）对进程是透明的，如果虚拟内存区域足够大，并且允许使用巨型页，那么内核在分配内存的时候首先选择分配巨型页，如果分配巨型页失败，回退分配普通页。

使用方法

透明巨型页的配置宏如下所示。
（1）CONFIG_TRANSPARENT_HUGEPAGE：支持透明巨型页。
（2）CONFIG_TRANSPARENT_HUGEPAGE_ALWAYS：总是使用透明巨型页。
（3）CONFIG_TRANSPARENT_HUGEPAGE_MADVISE：只在进程使用madvise(MADV_HUGEPAGE)指定的虚拟地址范围内使用透明巨型页。
（4）CONFIG_TRANSPARENT_HUGE_PAGECACHE：文件系统的页缓存使用透明巨型页。

可以在引导内核的时候通过内核参数开启或关闭透明巨型页。
（1）transparent_hugepage=always
（2）transparent_hugepage=madvise
（3）transparent_hugepage=never

可以在运行过程中开启或关闭透明巨型页
（1）总是使用透明巨型页。
echo always >/sys/kernel/mm/transparent_hugepage/enabled
（2）只在进程使用madvise(MADV_HUGEPAGE)指定的虚拟地址范围内使用透明巨型页。
echo madvise >/sys/kernel/mm/transparent_hugepage/enabled

系统调用madvise针对透明巨型页提供了两个Linux私有的建议值。
（1）MADV_HUGEPAGE表示指定的虚拟地址范围允许使用透明巨型页。
（2）MADV_NOHUGEPAGE表示指定的虚拟地址范围不要合并成巨型页。

（3）禁止使用透明巨型页。
echo never >/sys/kernel/mm/transparent_hugepage/enabled

分配透明巨型页失败的时候，页分配器采取什么消除内存碎片的策略？可以配置以下策略。
（1）直接回收页，执行同步模式的内存碎片整理。
echo always >/sys/kernel/mm/transparent_hugepage/defrag
（2）异步回收页，执行异步模式的内存碎片整理。
echo defer >/sys/kernel/mm/transparent_hugepage/defrag
（3）只针对madvise(MADV_HUGEPAGE)指定的虚拟内存区域，异步回收
页，执行异步模式的内存碎片整理。
echo defer+madvise >/sys/kernel/mm/transparent_hugepage/defrag
（4）只针对madvise(MADV_HUGEPAGE)指定的虚拟内存区域，直接回收
页，执行同步模式的内存碎片整理。这是默认策略。
echo madvise >/sys/kernel/mm/transparent_hugepage/defrag
（5）不采取任何策略。
echo never >/sys/kernel/mm/transparent_hugepage/defrag

可以查看透明巨型页的长度，单位是字节：
cat /sys/kernel/mm/transparent_hugepage/hpage_pmd_size

透明巨型页扫描线程定期扫描允许使用透明巨型页的虚拟内存区域，尝试把普通页合并成透明巨型页。
可以通过文件“/sys/kernel/mm/transparent_hugepage/khugepaged/pages_to_scan”配置每次扫描多少页（指普通页），默认值是一个巨型页
包含的普通页数量的8倍。
可以通过文件“/sys/kernel/mm/transparent_hugepage/khugepaged/scan_sleep_millisecs”配置两次扫描的时间间隔，单位是毫秒，默认值是
10秒。

实现原理

虚拟内存区域vm_area_struct的成员vm_flags增加了以下两个标志。
（1）VM_HUGEPAGE表示允许虚拟内存区域使用透明巨型页，进程使用madvise(MADV_HUGEPAGE)给虚拟内存区域设置这个标志。
（2）VM_NOHUGEPAGE表示不允许虚拟内存区域使用透明巨型页，进程使用madvise(MADV_NOHUGEPAGE)给虚拟内存区域设置这个标志。
注意：标志VM_HUGETLB表示允许使用标准巨型页。

虚拟内存区域满足以下条件才允许使用透明巨型页。

（1）以下条件二选一。

  1. 总是使用透明巨型页。

  2. 只在进程使用madvise(MADV_HUGEPAGE)指定的虚拟地址范围内使用透明巨型页，并且虚拟内存区域设置了允许使用透明巨型页的标志。

（2）虚拟内存区域没有设置不允许使用透明巨型页的标志。

假设一个虚拟内存区域允许使用透明巨型页，访问虚拟内存区域的时候，如果没有映射到物理页，那么生成页错误异常，页错误异常处理程序的处理过程如下。

（1）首先尝试在页上层目录分配巨型页。如果触发异常的虚拟地址所属的虚拟巨型页超出虚拟内存区域，或者分配巨型页失败，那么回退，尝试在页
中间目录分配巨型页。
（2）尝试在页中间目录分配巨型页。如果触发异常的虚拟地址所属的虚拟巨型页超出虚拟内存区域，或者分配巨型页失败，那么回退，尝试分配普通页。
（3）分配普通页。

页上层目录级别的巨型页和页中间目录级别的巨型页仅仅大小不同，页上层目录级别的巨型页大。以页中间目录级别的巨型页为例说明，分配巨型页的时候，会分配直接页表，把直接页表添加到页中间目录的直接页表寄存队列中。

直接页表寄存队列有什么用处呢？

当释放巨型页的一部分时，巨型页分裂成普通页，需要从直接页表寄存队列取一个直接页表。直接页表寄存队列分两种情况。

（1）如果每个页中间目录使用独立的锁，那么每个页中间目录一个直接页表寄存队列，头节点是页中间目录的页描述符的成员pmd_huge_pte（见图3.69）。

image-20220806010608767

（2）如果一个进程的所有页中间目录共用一个锁，那么每个进程一个直接页表寄存队列，头节点是内存描述符的成员pmd_huge_pte（见图3.70）。

image-20220806010654840

透明巨型页的分裂

当进程使用munmap释放巨型页的一部分时，需要把巨型页分裂成普通页。
以页中间目录级别的巨型页为例说明，执行过程如下。
（1）先把巨型页分裂成普通页。从直接页表寄存队列取一个直接页表，页中间目录表项指向直接页表，直接页表的每个表项指向巨型页中的一个普通页。
（2）释放普通页，把直接页表表项删除。

image-20220806011255440

内核有一个透明巨型页线程（线程名称是khugepaged），定期地扫描允许使用透明巨型页的虚拟内存区域，尝试把普通页合并成巨型页。
在分配透明巨页时，会把进程的内存描述符加入透明巨型页线程的扫描链表中，如果分配透明巨型页失败，回退使用普通页，透明巨型页线程将会尝试把普通页合并成巨型页。

透明巨型页线程的数据结构如图3.71所示。

image-20220806010840096

（1）扫描游标khugepaged_scan：成员mm_head是扫描链表的头节点，扫描链表的成员是内存描述符插槽；成员 mm_slot 指向当前正在扫描的内存描述符插槽，成员 address是即将扫描的下一个虚拟地址。
（2）内存描述符插槽mm_slot：成员mm指向进程的内存描述符，成员hash用来加入散列表，成员mm_node用来加入扫描链表。
（3）内存描述符插槽散列表mm_slots_hash。
（4）加入扫描链表的内存描述符设置了标志MMF_VM_HUGEPAGE。

爱好学习的青年人
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Memory_Hierarchy_Simulator:模拟多级缓存、TLB、页表、主存、磁盘不同写策略的操作，保证一致性
07-13
内存层次模拟器 模拟多级缓存、TLB、页表、主存、磁盘不同写策略的操作，保证一致性。 LRU 是替换算法。
MMU内存管理单元之TLB快表
明故宫的记忆
09-01 2669
文章目录1. TLB快表1.1 MMU的cache ——TLB1.2 快速上下文切换FSCE1.3 Global TLB和non-global 1. TLB快表   页表以数据结构的方式存放在DDR中，假如cpu每做一次地址访问，都要去DDR里去取出1级描述符，然后解析1级描述符，再去查找2级描述符，解析2级描述符，加上偏移得到物理地址，那真是太慢了 1.1 MMU的cache ——TLB   TLB的全称是Translation Lookaside Buffer，我们知道，处理器在取指或者执行访问memo
美化地址导航发布页HTML源码
tutujunjun的博客
03-23 258
美化地址导航发布页HTML源码，美观大气的导航页，采用简洁明了的布局，色彩搭配和谐，视觉效果出色。精心设计的菜单选项，使用户能够快速找到所需内容。整体风格大气而不失精致，展现出高品质的网站形象，为用户提供愉悦的浏览体验。
内存管理与TLB
li_shigang的专栏
07-09 1142
<br />我们倾向于直接从最底层引入本书中的大部分主题进行探讨，对于一本关注计算机底层体系结构的书而言，这似乎是自然而然的。然而，为了说清楚内存管理硬件，我们得从MIPS R2000所寻求实现的unix风格的虚拟存储系统开始讲起。本章的后面我们还会讨论一下相同的硬件如何在其他环境下工作。<br />          早期的MIPS CPU定位于支持运行在UNIX工作站与服务器上的应用程序，因此内存管理硬件被构想为一个最小化的能帮助BSD UNIX——一个经过完善设计并拥有充分多虚拟存储需求的操作系统的典
TLB表现转换
生活需要深度
04-12 1293
前一章节，我们学习了分页机制的硬件原理，从虚拟内存地址到物理内存地址的转换，我们通过页表来处理。为了节约页表的内存存储空间，我们会使用多级页表。但是，多级页表虽然节约了我们的存储空间，但是却存在问题： 原本我们对于只需要进行一次地址转换，只需要访问一次内存就能找到对应的物理页号了，算出物理地址 现在我们需要多次访问内存，才能找到对应的物理页号。 最终带来了时间上的开销，变成了一个“以时间换空间”的策略，极大的限制了内存访问性能问题。所以为了解决这种问题导致处理器性能下降的问题，计算机工程师们专门在 CPU
TLB的作用及工作过程
flc2762的专栏
10-25 1395
TLB的作用及工作过程 以下内容摘自《步步惊芯——软核处理器内部设计分析》一书 页表一般都很大，并且存放在内存中，所以处理器引入MMU后，读取指令、数据需要访问两次内存：首先通过查询页表得到物理地址，然后访问该物理地址读取指 令、数据。为了减少因为MMU导致的处理器性能下降，引入了TLB，TLB是Translation Lookaside Buffer的简称，可翻译为“地址...
TLB表作用及特点
渣渣
07-26 2955
TLB:Translation Lookaside Buffer. 根据功能可以译为快表，直译可以翻译为旁路转换缓冲，也可以把它理解成页表缓冲。里面存放的是一些页表文件（虚拟地址到物理地址的转换表）。当处理 器要在主内存寻址时，不是直接在内存的物理地址里查找的，而是通过一组虚拟地址转换到主内存的物理地址，TLB就是负责将虚拟内存地址翻译成实际的物理内存地址，而CPU寻址时会优先在TLB中进行寻址。处理器的性能就和寻址的命中率有很大的关系。 映射机制必须使一个程序能断言某个地址在其自己的进程空间或地址空间
arm64页表tlbi指令api接口
suifengershi2000的博客
09-02 735
arm64 tlbi flush op
TLB的作用及工作原理，如何查看TLB miss？
RToax
11-29 8180
目录 TLB的作用及工作过程 TLB工作原理 TLB原理 TLB表项 全相连 - full associative 组相连 - set-associative TLB表项更新 MMU和cache详解（TLB机制） 1.MMU 2.VA和PA 3.VA到PA的映射过程 4.CPU访问内存时的硬件操作顺序 5.ARM920T支持多种尺寸规格的页表 硬件高速缓存和TLB原理 基本概念 原理 如何查看TLB miss？ 虚拟内存 32位系统的虚拟内存实现：二级页表 64位系统
深入理解计算机系统第九章知识点总结
qq_51011672的博客
04-12 1382
无论哪种情况，一旦一个虚拟页面被初始化了，它就在一个由内核维护的专门的交换文件（也叫交换空间）之间换来换去。他将两个进程中的每个页面都标记为只读。时存在的虚拟内存相同，当两个进程的任意一个后来进行写操作时就会触发写时复制机制创建新页面。通过将一个虚拟内存区域与一个磁盘上的对象关联起来，来初始化这个虚拟内存区域的内容。当fork被调用时，内核为新进程创建各种数据结构，并且为，他分配一个唯一的。交换空间的大小限制着当前运行着的进程能够分配的虚拟页面的综述。删除当前进程虚拟地址的用户部分中的已存在的区域结构。
linux TLB
热门推荐
后台开发
08-23 1万+
有关线程死锁的问题？ 死锁：是指两个或两个以上的进程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们将无法推进下去。 产生死锁的4个必要条件： 1.互斥条件:一个资源每次只能被一个进程使用 2.请求与保持条件：一个进程因请求资源而阻塞时，对已获得的资源保持不放 3.不剥夺条件：进程已获得资源，在未使用完之前，不能强行剥夺 4.循环等待条件：若干进程之间形成一种头尾相接的循环等待关系 请描述进程和线程的区别？ 进程是程序的一次执行。线程可以理解为进程中执行的一段程序片。在一个多任.
Virtual-Memory-Manager:带有页表和 TLB 的虚拟内存处理程序
07-08
虚拟内存管理器 使用 Pthreads 建模虚拟内存管理器。 通过将逻辑地址映射到物理地址，可以通过对页表或 TLB 进行散列以找到正确的帧来检索数据。
加分项-页替换算法和多级页表1
08-03
1. 介绍 2. 初始代码 3. 任务 4. 测试
论BTB和I-TLB的作用
07-03
论BTB和I-TLB的作用 BTB(Branch Target Buffer )，即分支目标缓冲。在Nehalem的指令拾取单元中包含有...TLB是在处理器的总线接口单元的硬件缓存，用于存储最近使用的页表项的副本，这加快从虚拟地址到物理地址的转换。
php后退一页表单内容保存实现方法
12-18
网页的缓存是由HTTP消息头中的“Cache-control”来控制的，常见的取值有private、no- cache、max-age、must-revalidate等，默认为private。其作用根据不同的重新浏览方式分为以下几种情况： （1） 打开新窗口 值为...
nginx缓存清理
RAXCL的博客
04-30 518
种种，经验证都不是，最后想到了可以绕过nginx，通过ip+端口直连前端服务，果然通了，代码一切正常。通过 inactive=1d 我们知道了缓存时间为1天，这里说的是不活跃的资源，如果活跃就会长期保存，所以手动清除缓存是必要的。,但默认情况下，nginx.conf配置文件是不包含这个指令的，不过好在困难总比方法多，可以使用linux的搜索功能。nginx会缓存一些静态资源，如果恰巧修改了静态资源，且未清除缓存，就可能会导致问题的产生。到了这里问题已经很明显了，就是nginx缓存导致的。
HOOPS Exchange导入数据时如何使用CATIA缓存选项？
Juvien_Huang的博客
04-30 626
HOOPS Exchange是一款更快、更准确的CAD数据转换工具包，是3D数据格式转换首选解决方案。
【leetcode】缓存淘汰策略题目总结
最新发布
Smile&搁浅
05-02 509
我们使用了一个双向链表cache来存储数据，同时使用一个哈希表hash_map来映射键和链表节点的迭代器。当调用get(key)函数时，我们首先检查hash_map中是否存在该key，如果存在则将之前位置移到链表头部并返回值；当调用函数时，我们先检查hash_map中是否存在该key，存在的话将该节点从链表中删除，不管存在与否都需要考虑是否需要删除旧数据（缓存已满的情况）。我们定义两个哈希表，
Redis---------实现更改数据业务，包括缓存更新，缓存穿透雪崩击穿的处理
qq_62366797的博客
05-02 1076
Redis---------缓存更新策略
为什么页表项大小和页大小相关
06-08
页表项大小和页大小相关，是因为一个页表项需要描述一个页的位置和状态信息，而页的大小决定了页表项需要存储的信息量大小。 在页式存储管理中，操作系统将内存分成固定大小的块，称为页。每个进程需要使用多个页框...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值