【Linux 内核 内存管理】物理内存组织结构

一、 UMA和NUMA两种模型
共享存储型多处理机有两种模型
一致内存访问（Uniform-Memory-Access，简称UMA）模型

非一致内存访问（Nonuniform-Memory-Access，简称NUMA）模型

UMA模型
物理存储器被所有处理器件均匀共享。所有处理机对所有存储字具有相同的存取时间，这就是为什么称它为均匀存储器存取的原因。每台处理机可以有私用高速缓存,外围设备也以一定形式共享。

NUMA模型
NUMA模式下，处理器被划分成多个”节点”（node）， 每个节点被分配有的本地存储器空间。 所有节点中的处理器都可以访问全部的系统物理存储器，但是访问本节点内的存储器所需要的时间，比访问某些远程节点内的存储器所花的时间要少得多。

Linux适用于各种不同的体系结构, 而不同体系结构在内存管理方面的差别很大. 因此linux内核需要用一种体系结构无关的方式来表示内存。
在 NUMA 非一致内存访问架构 中, 将 CPU 划分为多个节点 , 每个节点都有自己的 " 内存控制器 " 和 " 内存插槽 " , CPU 访问自己的节点上的 内存 很快 , 但是访问其它 CPU 的内存 很慢 ;
在UMA结构下, 则任务系统中只存在一个内存node, 这样对于UMA结构来说, 内核把内存当成只有一个内存node节点的伪NUMA。

注意：NUMA 内存节点分为两种情况

• 根据 " 处理器与内存的距离 " 划分 " 内存节点 " ;
• 在 不连续内存 的 NUMA 架构中 , 根据 " 物理地址是否连续 " 划分 " 内存节点 " , 每个 物理地址连续 的内存块 是一个 " 内存节点 " ;

二、内存管理系统 3 级结构

① 节点 Node ,
② 区域 Zone ,
③ 页 Page ,
Linux 内核中 , 使用 上述 3级结构 描述 和 管理 " 物理内存 " ;

2.1 内存节点 pglist_data 结构体
Linux 内核中 , 使用 pglist_data 结构体 描述 " 内存节点 " , 该结构体定义在 Linux 内核源码中的 linux-4.12\include\linux\mmzone.h#601 位置 ;
其中 :
node_zones 是 内存区域数组 ;

struct zone node_zones[MAX_NR_ZONES];

node_zonelists 是 备用区域列表 ;

struct zonelist node_zonelists[MAX_ZONELISTS];

nr_zones 是 该 " 内存节点 " 包含 多少个 " 内存区域 " ;

// 该 " 内存节点 " 包含 多少个 " 内存区域 "
int nr_zones;

CONFIG_FLAT_NODE_MEM_MAP 宏定义指的是 " 除 稀疏内存模型 之外 " 的情况 , 该情况下 声明 struct page *node_mem_map 页描述数组 ;
struct page_ext *node_page_ext 是 内存页的扩展属性 ;

#ifdef CONFIG_FLAT_NODE_MEM_MAP	/* means !SPARSEMEM */
	// 页描述数组
	struct page *node_mem_map;
#ifdef CONFIG_PAGE_EXTENSION
	// 内存页的扩展属性
	struct page_ext *node_page_ext;
#endif
#endif

node_start_pfn 是 该 " 内存节点 " 的 起始物理页 编号 ;
node_present_pages 是 物理页 的总数 ;
node_spanned_pages 是 物理页 的区间范围 总大小 , 该大小包括 " 内存空洞 " 大小 ;
node_id 是 节点标识符 ;

2.2 内存区域 zone 简介
" 内存节点 " 再向下划分 , 就是 " 内存区域 " zone ,
" 内存区域 " 在 Linux 内核中使用 struct zone 结构体类型进行描述 , zone 枚举定义在 Linux 内核源码的 linux-4.12\include\linux\mmzone.h#350 位置 ;

enum zone_type {
#ifdef CONFIG_ZONE_DMA
    //如果一些设备不能直接访问所有内存，需要使用DMA内存，例如ISA总线只能直接访问16MB以下的内存.不需要通过MMU管理，连续分配，具有更高的性能
	ZONE_DMA,
#endif
#ifdef CONFIG_ZONE_DMA32
    //标记了使用32位地址可寻址、适合DMA的内存域，显然只有64位系统上，才会有该内存域。
	ZONE_DMA32,
#endif
    //可以直接映射到内核段的普通内存域，这是所有体系机构上保证都会存在的唯一内存域，在IA-32系统上，该域可访问的最大内存不超过896MiB，超过该值的内存只能能通过高端内存寻址访问ZONE_HIGHMEM中的内存。
	ZONE_NORMAL,
#ifdef CONFIG_HIGHMEM
   //超出了内核段的物理内存。只有在可用物理内存多余可映射的内核内存时，才会访问该域，显然一般只有32位系统上才会有可能有该区域。通过kmap及kunmap将该域内存映射到内核虚拟地址空间。
	ZONE_HIGHMEM,
#endif
//伪内存区域，用来防止内存区域
	ZONE_MOVABLE,
#ifdef CONFIG_ZONE_DEVICE
//为了支持持久内存热拔插增加的内存区域，每个内存区域用一个zone结构体控制
	ZONE_DEVICE,
#endif
	__MAX_NR_ZONES

};

ZONE的数据结构如下：

struct zone {
    unsigned long _watermark[NR_WMARK];
    unsigned long watermark_boost;
 
    unsigned long nr_reserved_highatomic;
    long lowmem_reserve[MAX_NR_ZONES];
    const char      *name;
    struct free_area    free_area[MAX_ORDER];
    unsigned long       flags;
}

• 水位： 每个zone都有三个水位值
  WMARK_MIN： 最低水位，代表内存显然已经不够用了。
  WMARK_LOW：低水位，代表内存已经开始吃紧，需要启动回收页内核线性kswapped去回收内存
  WMARK_HIGH：高水位，代表内存还是足够的。

enum zone_watermarks {
    WMARK_MIN,
    WMARK_LOW,
    WMARK_HIGH,
    NR_WMARK
};

• lowmem_reserve: 这个zone区域保留的内存，当系统内存出现不足的时候，系统就会使用这些保留的内存来做一些操作，比如使用保留的内存进程用来可以释放更多的内存
• free_area：用于维护空闲的页，其中数组的下标对应页的order数。最大order目前是11，free_are的结构体。

struct free_area {
    struct list_head    free_list[MIGRATE_TYPES];
    unsigned long       nr_free;
};

• free_list：用于将各个order的free page链接在一起
• nr_free: 代表这个order中还有多个空闲page
  而每一个order中又根据迁移类型分成了几组。

enum migratetype {
    MIGRATE_UNMOVABLE,
    MIGRATE_MOVABLE,
    MIGRATE_RECLAIMABLE,
#ifdef CONFIG_CMA
    MIGRATE_CMA,
#endif
    MIGRATE_PCPTYPES, /* the number of types on the pcp lists */
    MIGRATE_HIGHATOMIC = MIGRATE_PCPTYPES,
#ifdef CONFIG_MEMORY_ISOLATION
    MIGRATE_ISOLATE,    /* can't allocate from here */
#endif
    MIGRATE_TYPES
};

MIGRATE_UNMOVABLE： 不可移动的页
MIGRATE_MOVABLE：可以移动的页，当出现内存碎片的时候，就可以移动此页，腾出更多连续的空间
MIGRATE_RECLAIMABLE：可以回收的页
MIGRATE_CMA：用于专门CMA申请的页
MIGRATE_PCPTYPES：per-cpu的使用的
MIGRATE_HIGHATOMIC：高阶原子分配
MIGRATE_ISOLATE：隔离，不能从此分配页

可以通过我当前的设备，查看page的信息cat /proc/pagetypeinfo

可以很清晰的看到各个order中不同类型，不同zone，page的剩余情况。当然也可以从cat /proc/buddyinfo看各个page的剩余情况。
当然了我们的zone，也可以通过cat /proc/zoneinfo去查看zone的详细信息的。

root:/ # cat /proc/zoneinfo
Node 0, zone   Normal
  pages free     126204
        min      1251
        low      9254
        high     9566
        spanned  1308544
        present  1180543
        managed  1136476
        protection: (0, 24576)
      nr_free_pages 126204
      nr_zone_inactive_anon 984
      nr_zone_active_anon 61238
      nr_zone_inactive_file 423539
      nr_zone_active_file 122889
      nr_zone_unevictable 987
      nr_zone_write_pending 288
      nr_mlock     987
      nr_page_table_pages 13969
      nr_kernel_stack 36784
      nr_bounce    0
      nr_zspages   0
      nr_free_cma  60532
Node 0, zone  Movable
  pages free     680267
        min      866
        low      6404
        high     6620
        spanned  786432
        present  786432
        managed  786432
        protection: (0, 0)
      nr_free_pages 680267
      nr_zone_inactive_anon 0
      nr_zone_active_anon 104777
      nr_zone_inactive_file 0
      nr_zone_active_file 0
      nr_zone_unevictable 121
      nr_zone_write_pending 0
      nr_mlock     121
      nr_page_table_pages 0
      nr_kernel_stack 0
      nr_bounce    0
      nr_zspages   0
      nr_free_cma  0

2.3 物理页
每个物理页对应一个page结构体，称为页描述符。内存节点的pglist_data实例的成员node_mem_map指向该内存节点包含的所有物理页的页描述符组成的数组。
页是内存管理中的最小单位，页面中的内存其物理地址是连续的，每个物理页由struct page描述。为了节省内存，struct page是一个联合体。
页，又称为页帧，在内核当中，内存管理单元MMU（负责虚拟地址和物理地址转换的硬件）是把物理页page作为内存管理的基本单位。体系结构不同，支持的页大小也相同。
32位体系结构支持4kb的页；64位体系结构支持8kb的页；MIPS64架构体系支持16kb的页。
Linux内核源码分析：include/linux/mm_types.h

struct page {
	unsigned long flags;//原子标志，有些情况下会异步更新
 
	union {
		struct {	/* Page cache and anonymous pages */
			struct list_head lru;
			//如果最低位位0，则指向inode address_space 或为NULL
			//如果页映射为匿名地址，最低位置位，而且指针指向anon_vma对象
			struct address_space *mapping;
			pgoff_t index;		/* Our offset within mapping. */
 
			//由映射私有，不透明数据；
			//如果设置了PagePrivate,通常用于buffer_heads，
			//如果设置了PageSwapCache,则用于swp_entry_t
			//如果设置了PageBuddy 则用于伙伴系统中的阶
			unsigned long private;
		};
 
		struct {	/* slab, slob and slub */
			union {
				struct list_head slab_list;
				struct {	/* Partial pages */
					struct page *next;
#ifdef CONFIG_64BIT
					int pages;	/* Nr of pages left */
					int pobjects;	/* Approximate count */
#else
					short int pages;
					short int pobjects;
#endif
				};
			};
			struct kmem_cache *slab_cache; /* not slob */
			/* Double-word boundary */
			void *freelist;		/* first free object */
			union {
				void *s_mem;	/* slab: first object */
				unsigned long counters;		/* SLUB */
				struct {			/* SLUB */
					unsigned inuse:16;
					unsigned objects:15;
					unsigned frozen:1;
				};
			};
		};
...
}