内存管理之函数mm_init解读之mem_init

在Linux 内存管理中，在系统启动时，函数start_kernel()调用mm_init()对内存相关的模块初始化。这里我们关注mem_init()函数实现，这个是跟体系架构相关的，不同体系架构实现并不相同，但大致处理类似，即释放内存到伙伴系统，对一些内存方面的全局变量设置。我们下面看不同体系下实现：

ARM：
void __init mem_init(void)
{
#ifdef CONFIG_HAVE_TCM
 /* These pointers are filled in on TCM detection */
 extern u32 dtcm_end;
 extern u32 itcm_end;
#endif

 set_max_mapnr(pfn_to_page(max_pfn) - mem_map);
 /* this will put all unused low memory onto the freelists */
 free_unused_memmap();
 free_all_bootmem();
#ifdef CONFIG_SA1111
 /* now that our DMA memory is actually so designated, we can free it */
 free_reserved_area(__va(PHYS_OFFSET), swapper_pg_dir, -1, NULL);
#endif
 free_highpages();
 mem_init_print_info(NULL);
#define MLK(b, t) b, t, ((t) - (b)) >> 10
#define MLM(b, t) b, t, ((t) - (b)) >> 20
#define MLK_ROUNDUP(b, t) b, t, DIV_ROUND_UP(((t) - (b)), SZ_1K)
 pr_notice("Virtual kernel memory layout:\n"
   "    vector  : 0x%08lx - 0x%08lx   (%4ld kB)\n"
#ifdef CONFIG_HAVE_TCM
   "    DTCM    : 0x%08lx - 0x%08lx   (%4ld kB)\n"
   "    ITCM    : 0x%08lx - 0x%08lx   (%4ld kB)\n"
#endif
   "    fixmap  : 0x%08lx - 0x%08lx   (%4ld kB)\n"
   "    vmalloc : 0x%08lx - 0x%08lx   (%4ld MB)\n"
   "    lowmem  : 0x%08lx - 0x%08lx   (%4ld MB)\n"
#ifdef CONFIG_HIGHMEM
   "    pkmap   : 0x%08lx - 0x%08lx   (%4ld MB)\n"
#endif
#ifdef CONFIG_MODULES
   "    modules : 0x%08lx - 0x%08lx   (%4ld MB)\n"
#endif
   "      .text : 0x%p" " - 0x%p" "   (%4td kB)\n"
   "      .init : 0x%p" " - 0x%p" "   (%4td kB)\n"
   "      .data : 0x%p" " - 0x%p" "   (%4td kB)\n"
   "       .bss : 0x%p" " - 0x%p" "   (%4td kB)\n",
   MLK(UL(CONFIG_VECTORS_BASE), UL(CONFIG_VECTORS_BASE) +
    (PAGE_SIZE)),
#ifdef CONFIG_HAVE_TCM
   MLK(DTCM_OFFSET, (unsigned long) dtcm_end),
   MLK(ITCM_OFFSET, (unsigned long) itcm_end),
#endif
   MLK(FIXADDR_START, FIXADDR_END),
   MLM(VMALLOC_START, VMALLOC_END),
   MLM(PAGE_OFFSET, (unsigned long)high_memory),
#ifdef CONFIG_HIGHMEM
   MLM(PKMAP_BASE, (PKMAP_BASE) + (LAST_PKMAP) *
    (PAGE_SIZE)),
#endif
#ifdef CONFIG_MODULES
   MLM(MODULES_VADDR, MODULES_END),
#endif
   MLK_ROUNDUP(_text, _etext),
   MLK_ROUNDUP(__init_begin, __init_end),
   MLK_ROUNDUP(_sdata, _edata),
   MLK_ROUNDUP(__bss_start, __bss_stop));
#undef MLK
#undef MLM
#undef MLK_ROUNDUP
 /*
  * Check boundaries twice: Some fundamental inconsistencies can
  * be detected at build time already.
  */
#ifdef CONFIG_MMU
 BUILD_BUG_ON(TASK_SIZE    > MODULES_VADDR);
 BUG_ON(TASK_SIZE     > MODULES_VADDR);
#endif
#ifdef CONFIG_HIGHMEM
 BUILD_BUG_ON(PKMAP_BASE + LAST_PKMAP * PAGE_SIZE > PAGE_OFFSET);
 BUG_ON(PKMAP_BASE + LAST_PKMAP * PAGE_SIZE > PAGE_OFFSET);
#endif
 if (PAGE_SIZE >= 16384 && get_num_physpages() <= 128) {
  extern int sysctl_overcommit_memory;
  /*
   * On a machine this small we won't get
   * anywhere without overcommit, so turn
   * it on by default.
   */
  sysctl_overcommit_memory = OVERCOMMIT_ALWAYS;
 }
}

ARM64：
void __init mem_init(void)
{
 if (swiotlb_force || max_pfn > (arm64_dma_phys_limit >> PAGE_SHIFT))
  swiotlb_init(1);
 set_max_mapnr(pfn_to_page(max_pfn) - mem_map);
#ifndef CONFIG_SPARSEMEM_VMEMMAP
 free_unused_memmap();
#endif
 /* this will put all unused low memory onto the freelists */
 free_all_bootmem();
 mem_init_print_info(NULL);
#define MLK(b, t) b, t, ((t) - (b)) >> 10
#define MLM(b, t) b, t, ((t) - (b)) >> 20
#define MLG(b, t) b, t, ((t) - (b)) >> 30
#define MLK_ROUNDUP(b, t) b, t, DIV_ROUND_UP(((t) - (b)), SZ_1K)
 pr_notice("Virtual kernel memory layout:\n");
#ifdef CONFIG_KASAN
 pr_notice("    kasan   : 0x%16lx - 0x%16lx   (%6ld GB)\n",
  MLG(KASAN_SHADOW_START, KASAN_SHADOW_END));
#endif
 pr_notice("    modules : 0x%16lx - 0x%16lx   (%6ld MB)\n",
  MLM(MODULES_VADDR, MODULES_END));
 pr_notice("    vmalloc : 0x%16lx - 0x%16lx   (%6ld GB)\n",
  MLG(VMALLOC_START, VMALLOC_END));
 pr_notice("      .text : 0x%p" " - 0x%p" "   (%6ld KB)\n",
  MLK_ROUNDUP(_text, _etext));
 pr_notice("    .rodata : 0x%p" " - 0x%p" "   (%6ld KB)\n",
  MLK_ROUNDUP(__start_rodata, __init_begin));
 pr_notice("      .init : 0x%p" " - 0x%p" "   (%6ld KB)\n",
  MLK_ROUNDUP(__init_begin, __init_end));
 pr_notice("      .data : 0x%p" " - 0x%p" "   (%6ld KB)\n",
  MLK_ROUNDUP(_sdata, _edata));
 pr_notice("       .bss : 0x%p" " - 0x%p" "   (%6ld KB)\n",
  MLK_ROUNDUP(__bss_start, __bss_stop));
 pr_notice("    fixed   : 0x%16lx - 0x%16lx   (%6ld KB)\n",
  MLK(FIXADDR_START, FIXADDR_TOP));
 pr_notice("    PCI I/O : 0x%16lx - 0x%16lx   (%6ld MB)\n",
  MLM(PCI_IO_START, PCI_IO_END));
#ifdef CONFIG_SPARSEMEM_VMEMMAP
 pr_notice("    vmemmap : 0x%16lx - 0x%16lx   (%6ld GB maximum)\n",
  MLG(VMEMMAP_START, VMEMMAP_START + VMEMMAP_SIZE));
 pr_notice("              0x%16lx - 0x%16lx   (%6ld MB actual)\n",
  MLM((unsigned long)phys_to_page(memblock_start_of_DRAM()),
      (unsigned long)virt_to_page(high_memory)));
#endif
 pr_notice("    memory  : 0x%16lx - 0x%16lx   (%6ld MB)\n",
  MLM(__phys_to_virt(memblock_start_of_DRAM()),
      (unsigned long)high_memory));
#undef MLK
#undef MLM
#undef MLK_ROUNDUP
#ifdef CONFIG_COMPAT
 BUILD_BUG_ON(TASK_SIZE_32   > TASK_SIZE_64);
#endif
 BUILD_BUG_ON(sizeof(struct page) > (1 << STRUCT_PAGE_MAX_SHIFT));
 if (PAGE_SIZE >= 16384 && get_num_physpages() <= 128) {
  extern int sysctl_overcommit_memory;
  sysctl_overcommit_memory = OVERCOMMIT_ALWAYS;
 }
}
 
x86_32：
void __init mem_init(void)
{
 pci_iommu_alloc();
#ifdef CONFIG_FLATMEM
 BUG_ON(!mem_map);
#endif
 /*
  * With CONFIG_DEBUG_PAGEALLOC initialization of highmem pages has to
  * be done before free_all_bootmem(). Memblock use free low memory for
  * temporary data (see find_range_array()) and for this purpose can use
  * pages that was already passed to the buddy allocator, hence marked as
  * not accessible in the page tables when compiled with
  * CONFIG_DEBUG_PAGEALLOC. Otherwise order of initialization is not
  * important here.
  */
 set_highmem_pages_init();
 /* this will put all low memory onto the freelists */
 free_all_bootmem();
 after_bootmem = 1;
 mem_init_print_info(NULL);
 printk(KERN_INFO "virtual kernel memory layout:\n"
  "    fixmap  : 0x%08lx - 0x%08lx   (%4ld kB)\n"
#ifdef CONFIG_HIGHMEM
  "    pkmap   : 0x%08lx - 0x%08lx   (%4ld kB)\n"
#endif
  "    vmalloc : 0x%08lx - 0x%08lx   (%4ld MB)\n"
  "    lowmem  : 0x%08lx - 0x%08lx   (%4ld MB)\n"
  "      .init : 0x%08lx - 0x%08lx   (%4ld kB)\n"
  "      .data : 0x%08lx - 0x%08lx   (%4ld kB)\n"
  "      .text : 0x%08lx - 0x%08lx   (%4ld kB)\n",
  FIXADDR_START, FIXADDR_TOP,
  (FIXADDR_TOP - FIXADDR_START) >> 10,
#ifdef CONFIG_HIGHMEM
  PKMAP_BASE, PKMAP_BASE+LAST_PKMAP*PAGE_SIZE,
  (LAST_PKMAP*PAGE_SIZE) >> 10,
#endif
  VMALLOC_START, VMALLOC_END,
  (VMALLOC_END - VMALLOC_START) >> 20,
  (unsigned long)__va(0), (unsigned long)high_memory,
  ((unsigned long)high_memory - (unsigned long)__va(0)) >> 20,
  (unsigned long)&__init_begin, (unsigned long)&__init_end,
  ((unsigned long)&__init_end -
   (unsigned long)&__init_begin) >> 10,
  (unsigned long)&_etext, (unsigned long)&_edata,
  ((unsigned long)&_edata - (unsigned long)&_etext) >> 10,
  (unsigned long)&_text, (unsigned long)&_etext,
  ((unsigned long)&_etext - (unsigned long)&_text) >> 10);
 /*
  * Check boundaries twice: Some fundamental inconsistencies can
  * be detected at build time already.
  */
#define __FIXADDR_TOP (-PAGE_SIZE)
#ifdef CONFIG_HIGHMEM
 BUILD_BUG_ON(PKMAP_BASE + LAST_PKMAP*PAGE_SIZE > FIXADDR_START);
 BUILD_BUG_ON(VMALLOC_END   > PKMAP_BASE);
#endif
#define high_memory (-128UL << 20)
 BUILD_BUG_ON(VMALLOC_START   >= VMALLOC_END);
#undef high_memory
#undef __FIXADDR_TOP
#ifdef CONFIG_HIGHMEM
 BUG_ON(PKMAP_BASE + LAST_PKMAP*PAGE_SIZE > FIXADDR_START);
 BUG_ON(VMALLOC_END    > PKMAP_BASE);
#endif
 BUG_ON(VMALLOC_START    >= VMALLOC_END);
 BUG_ON((unsigned long)high_memory  > VMALLOC_START);
 if (boot_cpu_data.wp_works_ok < 0)
  test_wp_bit();
}
X86_64：
void __init mem_init(void)
{
 pci_iommu_alloc();
 /* clear_bss() already clear the empty_zero_page */
 register_page_bootmem_info();
 /* this will put all memory onto the freelists */
 free_all_bootmem();
 after_bootmem = 1;
 /* Register memory areas for /proc/kcore */
 kclist_add(&kcore_vsyscall, (void *)VSYSCALL_ADDR,
    PAGE_SIZE, KCORE_OTHER);
 mem_init_print_info(NULL);
}
 
 
MIPS：
void __init mem_init(void)
{
#ifdef CONFIG_HIGHMEM
#ifdef CONFIG_DISCONTIGMEM
#error "CONFIG_HIGHMEM and CONFIG_DISCONTIGMEM dont work together yet"
#endif
 max_mapnr = highend_pfn ? highend_pfn : max_low_pfn;
#else
 max_mapnr = max_low_pfn;
#endif
 high_memory = (void *) __va(max_low_pfn << PAGE_SHIFT);
 maar_init();
 free_all_bootmem();
 setup_zero_pages(); /* Setup zeroed pages.  */
 mem_init_free_highmem();
 mem_init_print_info(NULL);
#ifdef CONFIG_64BIT
 if ((unsigned long) &_text > (unsigned long) CKSEG0)
  /* The -4 is a hack so that user tools don't have to handle
     the overflow.  */
  kclist_add(&kcore_kseg0, (void *) CKSEG0,
    0x80000000 - 4, KCORE_TEXT);
#endif
}
上面这些函数尽管不同体系架构实现不同，甚至同一架构下不同位的架构也实现不同。我们这里以ARM64为例，说明这些函数主要处理：
首先我们需要明白mem_map作用，其是描述所有的物理内存采用的struct page结构的数组的基指针。比如说，对于4GB的内存来说，如果一个页定义为4KB，即2^12字节。那么可想而知，总共这个mem_map数组大小为2^20个。注意我们这里都以flat型内存描述为主，即平坦型内存模型、
而这些页都有一个具体的页帧号与之对应。页帧号一般用pfn来表示，那么由于每个页都有一个页帧号，那最小的页帧号和最大的页帧号为多少呢？需要特别注意的是，页帧号也是与mem_map数组的index相对应。我们一般认为pfn_min为0，而最大pfn_max为mem_map数组下标的最大值，这个最大值也就是max_pfn，这个值跟内核的max_mapnr相对应。
函数set_max_mapnr()就是用于计算max_mapnr。我们可能会想，这个max_pfn是什么时候设置的呢？这个是在setup_arch的paging_init()中调用bootmem_init()来进行的。在成功设置max_mapnr后，我们要把启动过程时所有的空闲内存释放到伙伴系统，这里需要注意三点：
一. bootmem内存管理或者nobootmem管理
二. memblock内存管理
三. 伙伴系统
 
显然，启动时，不存在伙伴系统，在linux 内核启动的早期，BSP相关的代码需要把内核能使用的内存块大小告知内核，要么通过bootload传递参数给出DDR大小，要么通过命令行形式给出DDR大小，或者通过FDT等形式对DTS分析得出DDR大小。不管什么样的方法，内核需要了解这些信息，我们这里以DTS形式给出内存大小，这些内存块会以
memblock_add形式添加到memblock内存管理块中。这些添加到内核中的内存块被标记为memory类型，另外一种类型为reserve类型。BSP可以通过不同方式添加到内核，
但是在我们内核使用内存之前，必须先添加一块，否则我们使用的内存哪里来呢，使用的内存被标记为reserve。这样，通过这种简单的管理，memblock把所有的内存块维护起来，之后内核慢慢的从这些内存块中获取内存。我们一般称memblock是逻辑内存块管理。
对于bootmem来说，它是物理内存管理。我们这里不详细介绍，后面会有篇章分析。
函数free_unused_memmap()和free_all_bootmem()都是把空闲内存释放到伙伴系统，前者释放memblock中空闲内存，后者释放bootmem中内存。
函数mem_init_print_info()是把内核映像的各个段地址打印出来。我们这里看下这个信息：
[    0.000000] Memory: 832MB 2080MB = 2912MB total
[    0.000000] <0>I{0}[0:swapper]Memory: 2852320k/2852320k available, 129568k reserved
[    0.000000] <0>I{0}[0:swapper]Virtual kernel memory layout:
[    0.000000] <0>    vmalloc : 0xffffff8000000000 - 0xffffffbbffff0000   (245759 MB)
[    0.000000] <0>    vmemmap : 0xffffffbc001dc000 - 0xffffffbc029c8000   (    39 MB)
[    0.000000] <0>    modules : 0xffffffbffc000000 - 0xffffffc000000000   (    64 MB)
[    0.000000] <0>    memory  : 0xffffffc000000000 - 0xffffffc0b6800000   (  2920 MB)
[    0.000000] <0>      .init : 0xffffffc000d29000 - 0xffffffc000f881c0   (  2429 kB)
[    0.000000] <0>      .text : 0xffffffc000080000 - 0xffffffc000d28da4   ( 12964 kB)
[    0.000000] <0>      .data : 0xffffffc000f89000 - 0xffffffc001088e78   (  1024 kB)
上面的832MB和2080MB是说明有两个memblock，第一个memblock大小为832MB，第二个为2080MB，所以，总共内存大小为2912MB。
 
对于Memory:下面几个数字来说， 2852320k是当前系统空闲的内存，这说明总共有713080个空闲页。需要注意2852320k/2852320k 前面这个是当前系统空闲页数，它是个动态变化的值。它是由函数nr_free_pages()得到，可以看到，其采用global_page_state(NR_FREE_PAGES)方式获取的空闲内存，这个值会动态变化，每次申请内存时都会减少。而后面这个值是恒定的，它是从页的page_count(page)得到，因为对于内核来说，如果BSP申请内存一定，这个值就应该恒定，它是每个memblock中除了reserve之后的内存，所以，在BSP开发期间，可以通过这个值来了解内核可用内存是否减少。
从上面给出的log可以看到，这两个值相等，这说明memblock中reserve的值后并没有动态申请内存，否则前面这个值应该减小。
最后这个129568k 是reserve的内存，那么什么是reserve的内存呢？其实这个reserve内存是相对free内存来说的。因为其无法再分配供其他程序使用，这部分内存一般是内核一些模块申请，如vfs_caches_init_early()分配的目录项和索引节点hash，这些模块需要连续的物理内存，在系统启动时可以方便获取，这样我们在系统早期分配后，对其标记为reserve，再比如内核代码段，数据段等，这些都被标记。这样看来，上面129568KB的reserve内存，即32392个页被标记reserve。
空闲free页 + reserve页 = 总页数 = 713080 + 32392 = 745472页。
总内存2912MB = 745742个页。
 
对于下面的内核镜像内存布局则很容易理解了：
因为我们是64位系统，虚拟地址空间采用48位。
上面把物理内存完全映射到memory  : 0xffffffc000000000 - 0xffffffc0b6800000   (  2920 MB) 这个里面。 这里把0x0000000000000000 - 0xffffff8000000000-1 映射到用户地址空间
0xffffffc000000000 - 0xffff,ffff，ffff，ffff 映射到内核空间
可以看到，内核空间已经足够大，所以不需要高端内存，内核空间已经足够囊括3GB的物理内存了。整个物理内存映射到0xffffffc000000000 - 0xffffffc0b6800000   范围，这里只所以有8MB的洞，是保护非连续区内存管理使用的。
可以看到，内核代码段，init段，数据段大小。对于vmemmap和module段很容易理解其大小。这些都跟内核定义的一些宏或者常熟相关。