Linux内核源码分析 (B.x)内核内存布局和堆管理

Linux内核源码分析 (B.x)内核内存布局和堆管理

一、Linux内核内存布局

• 64位Linux一般使用48位来表示虚拟地址空间，45位表示物理地址。通过命令：cat/proc/cpuinfo。查看Linux内核位数和proc文件系统输出系统软硬件信息如下:

  lh@LH_LINUX:~$ cat /proc/cpuinfo
  vendor_id	: GenuineIntel	// CPU制造商
  cpu family	: 6 			// CPU产品代号
  model		: 165			// CPU属于其系列当中的哪一个代号
  model name	: Intel(R) Core(TM) i7-10875H CPU @ 2.30GHz // CPU属于的名称、编号、主频
  stepping	: 2				// CPU属于制作更新版本
  cpu MHz		: 2303.999		//CPU实际使用主频
  cache size	: 16384 KB		//CPU二级缓存
  physical id	: 0				//单个CPU的标号
  siblings	: 2				//单个CPU逻辑物理核数
  core id		: 0				//当前物理核在其所处的CPU中编号
  cpu cores	: 2				//逻辑核所在CPU的物理核数
  apicid		: 0				//用来区分不同逻辑核的编号
  bogomips : 4607.99 			//系统内核启动时测算的CPU速度
  clflush size : 64			//每次刷新缓存的大小单位
  cache_alignment : 64 		//缓存地址空间对齐单位
  address sizes : 45 bits physical. 48 bits virtual // 可以访问的地址空间位数
  

• 通过cat/proc/meminfo输出系统架构内存分布情况，具体如下

  lh@LH_LINUX:~$ cat /proc/meminfo
  MemTotal: 12165668 kB 		//所有可用内存空间的大小
  MemFree: 10151616 kB 		//系统还没有使用内存
  MemAvailable: 10570548 kB	//真正系统可用内存
  Buffers: 52596 kB 			//专用用来给块设备做缓存的内存
  Cached: 575008 kB 			//分配给文件缓冲区的内存
  SwapCached： 0 kB 			//被高速缓冲缓存使用的交换空间大小
  Active: 1158808 kB 			//使用高速缓冲存储器页面文件大小
  Inactive: 345196 kB 		//没有经常使用的高速缓存存储器大小
  Active(anon): 870720 kB 	//活跃的匿名内存
  Inactive(anon)： 12504 kB 	//不活跃的匿名内存
  Active(file): 288088 kB 	//活跃的文件使用内存
  Inactive(file): 332692 kB 	//不活跃的文件使用内存
  Unevictable: 16kB			//不能被释放的内存页
  Mlocked： 16 kB 			//系统调用mlock允许程序在物理内存上锁住部分或全部地址空间
  SwapTotal: 2097148 kB 		//交换空间总内存大小
  SwapFree: 2097148 kB 		//交换空间空闲的内存大小
  Dirty: 24 kB 				//等待被写回到磁盘
  Writeback： 0 kB 			//正在被写加的大小
  AnonPages: 876420 kB 		//未映射页的内存/映射到用户空间的非文件页表大小
  Kipped: 255420 kB 			//映射文件内存
  Shmem: 13896 kB 			//已经被分配的共享内存
  KReclaimabie: 70884 kB 		//可回收的slab内存
  Slab: 151976 kB				//内存数据结构缓存大小
  CommitLimit: 8179980 kB 	//系统实际可以分配内存
  Committed_AS: 4649264 kB 	//系统当前已经分配的内存
  VmallocTotal: 34359738367 kB//预留虚拟内存的总量
  VmallocUsed: 27836 kB 		//已经被使用的虚拟内存
  VmallocChunk: 0 kB 			//可分配的最大逻辑地址连续的虚拟内存
  

• Linux内核动态内存分配通过系统接口实现

  • alloc_pages/_get_free_page：以页为单位分配
  • vmalloc：以字节为单位分配虚拟地址连续的内存块
  • kmalloc：以字节为单位分配物理地址连续的内存块，它是以slab为中心

• 我们也可以通过vmalloc分配的内存将它统计输出，具体如下：
  

• ARM64架构采用48位物理寻址方式，最大可寻找256TB的物理地址空间。对于目前应用完全足够，不需要扩展到64位。虚拟地址也同样最大支持48位寻址。Linux内核在大多数体系结构上将地址空间划为：用户空间和内核空间。

  • 用户空间(User space) : 0x0000_0000_0000_0000至0x0000_FFFF_FFFF_FFFF
  • 内核空间(Kernel space) : 0xFFFF_0000_0000_0000至0xFFFF_FFFF_FFFF_FFFF
    
    • KASAN （影子区）：它是一个动态检测内存错误的工具，原理利用额外的内存标记可用内存的状态（将1/8内存作为影子区）；
    • modules：内核模块使用的虚拟地址空间；
    • vmalloc：vmalloc函数使用的虚拟地址空间
    • .text：代码段
    • .init：模块初始化数据
    • .data：数据段
    • bss：静态内存分配段
    • fixed：固定映射区域
    • PCI I/O： PCI设备的I/O地址空间
    • vmemmap：内存的物理地址如果不连续的话，就会存在内存空洞（稀疏内存）vmemmap就用来存放稀疏内存的page结构体的数据的虚拟地址空间
    • memory：线性映射区域
  • 我们可以打印出ARM64体系结构的Linux内存布局（Linux内核初始化完成后，整体布局稳定。通过Vexpress平台输出即可，因为我们暂时没有环境，所以先通过源码分析打印流程。
    start_kernel() ==> mm_init() ==>mem_init() ==> printk(...)

二、堆管理

• 堆是进程中主要用于动态分配变量和数据的内存区域，堆的管理对应程序员不是直接可见的。malloc和内核之间的经典接口是brk系统调用，负责拓展/收缩堆。堆是一个连续的内存区域，在拓展时自下至上增长。其中mm_struct结构，包含堆在虚拟地址空间中的起始和当前结束地址（start_brk和brk）。

  struct mm_struct{
  	...
  	unsigned long start_brk,brk,start_stack;
  	...
  }
  

• brk系统调用指定堆在虚拟地址空间中新的结束地址（如果堆将要收缩，当然可以小于当前值）。brk系统调用动态分配，具体Linux内核源码分析如下

  SYSCALL_DEFINE1(brk, unsigned long, brk){
  	...
  }
  

• Linux系统当中有两个方法可以创建堆：

  • brk()是系统调用，实际是设置进程数据段的结束地址，将数据段的结束地址向高地址移动。
  • mmap()向操作系统申请一段虚拟地址空间(使用映射到某个文件)。当不用此空间来映射到某个文件时，这块空间称为匿名空间可以用来作为堆空间。

• per-cpu计数器，引入它用来加速SMP系统上计数器工作，Linux具体内核源码如下：

  #ifdef CONFIG_SMP
  
  struct percpu_counter {
  	spinlock_t lock;
  	s64 count;
  #ifdef CONFIG_HOTPLUG_CPU
  	struct list_head list;	/* All percpu_counters are on a list */
  #endif
  	s32 *counters;
  };
  

  • 采用per-cpu变量有下列好处：所需数据很可能存在于处理器的缓存中，因此可以更快速地访问。如果在多处理器系统中使用可能被所有CPU同时访问的变量，可能会引发一些通信方面的问题，采用上述概念刚好绕过了这些问题。