一文实战 | RISC-V Linux入口地址2M预留内存优化

上篇分析了RISC-V Linux启动之页表创建，提到RISC-V Linux入口地址必须2M对齐，今天讲讲如何解决2M对齐的问题，或者说如何优化部分内存。

注意：本文基于linux5.10.111内核

内存占用分析

每颗芯片在出厂时，其bootrom就已经固化在芯片内部，假设bootrom的地址是0x0，即上电后，会从0x0地址处开始运行程序。

在启动RISC-V Linux之前，需要先运行opensbi，因此应该把opensbi放到地址0x0处，这样芯片上电后，就会从0x0地址处执行opensbi。在opensbi运行完后，会跳转到opensbi运行地址偏移2M的位置去执行下一级boot（这里下一级boot是kernel），即跳转到0x200000地址处运行kernel，因此应该把kernel放到内存的0x200000处。

内存分布示意图如下：

​

对于kernel来说，在启动时会从自己的kernel加载地址处（即0x200000）开始建立页表映射，只有对物理内存建立了页表映射，后面才能访问这些内存。而kernel加载地址前面的2M内存（即0x0 - 0x200000）将被kernel忽略，不会对这2M内存建立页表，即kernel无法访问这2M内存。

在QEMU上RISC-V Linux的启动信息：

​

但opensbi实际不需要使用2M这么大的范围，默认是512KB，opensbi的pmp会保护这512KB内存，不让其他程序访问。

​

因此在Kernel和opensbi之间会存在1.5M的内存空隙，并且这部分内存空隙没有程序使用，这就会造成内存浪费，那如何让kernel将前面的一部分内存也利用起来呢？

优化方案

对这2M内存的优化，有两种方案：

方案一 ：将opensbi放到内存的最后面，kernel入口地址仍然保持2M对齐。

方案二 ：opensbi仍然放到内存的起始位置，通过修改内核源码，解除2M对齐限制，即可将kernel地址往前挪。

方案一

我们将opensbi放到内存的最后面，kernel入口地址仍然保持2M对齐。

即kernel放到内存的最前面，opensbi放到后面：

​

例如kernel放到内存的0x0地址处，opensbi放到内存的0x10000000地址处。这样kernel前面就不会有预留内存，只不过这样需要修改bootrom的地址 ，将地址从0x0修改为0x0x10000000。这种方案只适合芯片还没出厂前 ，因为用户无法修改bootrom的地址，芯片出厂后，bootrom地址是固定的，假设bootrom地址为0x0，那么芯片上电后，就会从0x0开始运行程序，所以opensbi必须放到0x0地址处，这样必然kernel只能往后偏移2M。

 资料直通车：Linux内核源码技术学习路线+视频教程内核源码

学习直通车：Linux内核源码内存调优文件系统进程管理设备驱动/网络协议栈

方案二

我们也可以修改RISC-V Linux的内核源码，解除2M对齐的限制。我们只需要在setup_vm()函数中，将原来的二级页表改为三级页表 ，这样kernel入口地址只需要4K对齐，因此就能将kernel往前挪，从而利用前面的内存。

修改代码

路径：arch/riscv/mm/init.c

注释原来的2M对齐检查：

​

对kernel的前2M页表映射由二级页表改为三级页表：

//新增一个PTE
pte_t trampoline_pte[PTRS_PER_PTE] __page_aligned_bss;

create_pgd_mapping(trampoline_pg_dir,PAGE_OFFSET,
                   (uintptr_t)trampoline_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(trampoline_pmd,PAGE_OFFSET,
                   (uintptr_t)trampoline_pte,PMD_SIZE,PAGE_TABLE);

end_va = PAGE_OFFSET + PMD_SIZE;
for (va = PAGE_OFFSET; va < end_va; va += PAGE_SIZE)
{
    create_pte_mapping(trampoline_pte,PAGE_OFFSET,
                   load_pa + (va - PAGE_OFFSET),
                       PAGE_SIZE,PAGE_KERNEL_EXEC);
}

​

对整个kernel的页表映射由二级页表改为三级页表：

假设kernel大小为4M+

//定义三个PTE
pte_t load_sz_pte[PTRS_PER_PTE] __page_aligned_bss;
pte_t load_sz_pte1[PTRS_PER_PTE] __page_aligned_bss;
pte_t load_sz_pte2[PTRS_PER_PTE] __page_aligned_bss;

//=======0-2M======
create_pgd_mapping(early_pg_dir,PAGE_OFFSET,
                   (uintptr_t)early_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(early_pmd,PAGE_OFFSET,
                   (uintptr_t)load_sz_pte,PMD_SIZE,PAGE_TABLE);

end_va = PAGE_OFFSET + PMD_SIZE;
for (va = PAGE_OFFSET; va < end_va; va += PAGE_SIZE)
{
    create_pte_mapping(load_sz_pte,PAGE_OFFSET,
                   load_pa + (va - PAGE_OFFSET),
                       PAGE_SIZE,PAGE_KERNEL_EXEC);
}

//=======2-4M==========
create_pgd_mapping(early_pg_dir,PAGE_OFFSET + PMD_SIZE,
                   (uintptr_t)early_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(early_pmd,PAGE_OFFSET,
                   (uintptr_t)load_sz_pte1,PMD_SIZE,PAGE_TABLE);

end_va = PAGE_OFFSET + (PMD_SIZE * 2);
for (va = PAGE_OFFSET + PMD_SIZE; va < end_va; va += PAGE_SIZE)
{
    create_pte_mapping(load_sz_pte1,va,
                   load_pa + (va - PAGE_OFFSET),
                       PAGE_SIZE,PAGE_KERNEL_EXEC);
}

//=======4-6M==========
create_pgd_mapping(early_pg_dir,PAGE_OFFSET + (PMD_SIZE*2),
                   (uintptr_t)early_pmd,PGDIR_SIZE,PAGE_TABLE);
create_pmd_mapping(early_pmd,PAGE_OFFSET,
                   (uintptr_t)load_sz_pte2,PMD_SIZE,PAGE_TABLE);

end_va = PAGE_OFFSET + (PMD_SIZE * 3);
for (va = PAGE_OFFSET + (PMD_SIZE*2); va < end_va; va += PAGE_SIZE)
{
    create_pte_mapping(load_sz_pte2,va,
                   load_pa + (va - PAGE_OFFSET),
                       PAGE_SIZE,PAGE_KERNEL_EXEC);
}

​

​

通过以上的代码修改，就能将Kernel入口地址往前挪1.5M，只给opensbi预留512KB，这样RISC-V Linux启动之后，可用物理内存就会增加。

​

总结

RISC-V Linux入口地址2M对齐的操作目前还没看到有人解释，不过应该就是为了给opensbi预留2M，于是kernel只建立了二级页表，使得入口地址必须2M对齐。对这部分内存的优化解决方案，目前也还没人给出，希望本文的优化方案能够帮助到有些人，也希望能够给大家一些启发。