鸿蒙内核源码分析 (内存管理篇) 虚拟内存全景图是怎样的(1)

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新HarmonyOS鸿蒙全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img

img
img
htt

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上鸿蒙开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip204888 (备注鸿蒙)
img

正文

extern CHAR __text_start; // 代码区开始地址
extern CHAR __text_end; // 代码区结束地址
extern CHAR __ram_data_start; // RAM开始地址 可读可写
extern CHAR __ram_data_end; // RAM结束地址
extern UINT32 __heap_start; // 堆区开始地址
extern UINT32 __heap_end; // 堆区结束地址

内存一开始一张白纸,这些 extern 就是给它画大界线的,从哪到哪是属于什么段。这些值大小取决实际项目内存条的大小,不同的内存条,地址肯定会不一样,所以必须由外部提供,鸿蒙内核采用了 Linux 的段管理方式。结合上图对比以下的解释自行理解下位置。

BSS 段 (bss segment)通常是指用来存放程序中未初始化的全局变量的一块内存区域。BSS 是英文 Block Started by Symbol 的简称。BSS 段属于静态内存分配。该段用于存储未初始化的全局变量或者是默认初始化为 0 的全局变量,它不占用程序文件的大小,但是占用程序运行时的内存空间。

data 段 该段用于存储初始化的全局变量,初始化为 0 的全局变量出于编译优化的策略还是被保存在 BSS 段。

细心的读者可能发现了,鸿蒙内核几乎所有的全局变量都没有赋初始化值或 NULL,这些变量经过编译后是放在了 BSS 段的,运行时占用内存空间,如此编译出来的 ELF 包就变小了。

.rodata 段,该段也叫常量区,用于存放常量数据,ro 就是 Read Only 之意。

text 段 是用于存放程序代码的,编译时确定,只读。更进一步讲是存放处理器的机器指令,当各个源文件单独编译之后生成目标文件,经连接器链接各个目标文件并解决各个源文件之间函数的引用,与此同时,还得将所有目标文件中的.text 段合在一起。

stack 栈段,是由系统负责申请释放,用于存储参数变量及局部变量以及函数的执行。

heap 段 它由用户申请和释放,申请时至少分配虚存,当真正存储数据时才分配相应的实存,释放时也并非立即释放实存,而是可能被重复利用。

内核空间是怎么初始化的?

LosMux g_vmSpaceListMux;//虚拟空间互斥锁,一般和g_vmSpaceList配套使用
LOS_DL_LIST_HEAD(g_vmSpaceList);//g_vmSpaceList把所有虚拟空间挂在一起,
LosVmSpace g_kVmSpace;    //内核空间地址
LosVmSpace g_vMallocSpace;//虚拟分配空间地址

//鸿蒙内核空间有两个(内核进程空间和内核动态分配空间),共用一张L1页表
VOID OsKSpaceInit(VOID)
{
OsVmMapInit();// 初始化互斥量
OsKernVmSpaceInit(&g_kVmSpace, OsGFirstTableGet());// 初始化内核虚拟空间,OsGFirstTableGet 为L1表基地址
OsVMallocSpaceInit(&g_vMallocSpace, OsGFirstTableGet());// 初始化动态分配区虚拟空间,OsGFirstTableGet 为L1表基地址
}//g_kVmSpace g_vMallocSpace 共用一个L1页表
//初始化内核堆空间
STATUS_T OsKHeapInit(size_t size)
{
STATUS_T ret;
VOID ptr = NULL;
/

  • roundup to MB aligned in order to set kernel attributes. kernel text/code/data attributes
  • should page mapping, remaining region should section mapping. so the boundary should be
  • MB aligned.
    */
    //向上舍入到MB对齐是为了设置内核属性。内核文本/代码/数据属性应该是页映射,其余区域应该是段映射,所以边界应该对齐。
    UINTPTR end = ROUNDUP(g_vmBootMemBase + size, MB);//用M是因为采用section mapping 鸿蒙内核源码分析(内存映射篇)有阐述
    size = end - g_vmBootMemBase;
    //ROUNDUP(0x00000200+512,1024) = 1024  ROUNDUP(0x00000201+512,1024) = 2048 此处需细品! 
    ptr = OsVmBootMemAlloc(size);//因刚开机,使用引导分配器分配
    if (!ptr) {
    PRINT_ERR(“vmm_kheap_init boot_alloc_mem failed! %d\n”, size);
    return -1;
    }

m_aucSysMem0 = m_aucSysMem1 = ptr;//内存池基地址,取名auc还用0和1来标识有何深意,一直没整明白, 哪位大神能告诉下?
ret = LOS_MemInit(m_aucSysMem0, size);//初始化内存池
if (ret != LOS_OK) {
PRINT_ERR(“vmm_kheap_init LOS_MemInit failed!\n”);
g_vmBootMemBase -= size;//分配失败时需归还size, g_vmBootMemBase是很野蛮粗暴的
return ret;
}
LOS_MemExpandEnable(OS_SYS_MEM_ADDR);//地址可扩展
return LOS_OK;
}

内核空间用了三个全局变量,其中一个是互斥 LosMux,IPC 部分会详细讲,这里先不展开。 比较有意思的是 LOS_DL_LIST_HEAD,看内核源码过程中经常会为这样的代码点头称赞,会心一笑。点赞!

#define LOS_DL_LIST_HEAD(list) LOS_DL_LIST list = { &(list), &(list) }

Page 是如何初始化的?

page 是映射的最小单位,是物理地址 <—> 虚拟地址映射的数据结构的基础

// page初始化
VOID OsVmPageStartup(VOID)
{
struct VmPhysSeg *seg = NULL;
LosVmPage *page = NULL;
paddr_t pa;
UINT32 nPage;
INT32 segID;

OsVmPhysAreaSizeAdjust(ROUNDUP((g_vmBootMemBase - KERNEL_ASPACE_BASE), PAGE_SIZE));//校正 g_physArea size

nPage = OsVmPhysPageNumGet();//得到 g_physArea 总页数
g_vmPageArraySize = nPage * sizeof(LosVmPage);//页表总大小
g_vmPageArray = (LosVmPage *)OsVmBootMemAlloc(g_vmPageArraySize);//申请页表存放区域

OsVmPhysAreaSizeAdjust(ROUNDUP(g_vmPageArraySize, PAGE_SIZE));// g_physArea 变小

OsVmPhysSegAdd();// 段页绑定
OsVmPhysInit();// 加入空闲链表和设置置换算法,LRU(最近最久未使用)算法

for (segID = 0; segID < g_vmPhysSegNum; segID++) {
seg = &g_vmPhysSeg[segID];
nPage = seg->size >> PAGE_SHIFT;
for (page = seg->pageBase, pa = seg->start; page <= seg->pageBase + nPage;
page++, pa += PAGE_SIZE) {
OsVmPageInit(page, pa, segID);//page初始化
}
OsVmPageOrderListInit(seg->pageBase, nPage);// 页面分配的排序
}
}

进程是如何申请内存的?

进程的主体是来自进程池,进程池是统一分配的,怎么创建进程池的去翻系列篇里的文章,所以创建一个进程的时候只需要分配虚拟内存 LosVmSpace,这里要分内核模式和用户模式下的申请。

//初始化进程的 用户空间 或 内核空间
//初始化PCB块
STATIC UINT32 OsInitPCB(LosProcessCB *processCB, UINT32 mode, UINT16 priority, UINT16 policy, const CHAR *name)
{
UINT32 count;
LosVmSpace *space = NULL;
LosVmPage *vmPage = NULL;
status_t status;
BOOL retVal = FALSE;

processCB->processMode = mode;//用户态进程还是内核态进程
processCB->processStatus = OS_PROCESS_STATUS_INIT;//进程初始状态
processCB->parentProcessID = OS_INVALID_VALUE;//爸爸进程,外面指定
processCB->threadGroupID = OS_INVALID_VALUE;//所属线程组
processCB->priority = priority;//优先级
processCB->policy = policy;//调度算法 LOS_SCHED_RR
processCB->umask = OS_PROCESS_DEFAULT_UMASK;//掩码
processCB->timerID = (timer_t)(UINTPTR)MAX_INVALID_TIMER_VID;

LOS_ListInit(&processCB->threadSiblingList);//初始化任务/线程链表
LOS_ListInit(&processCB->childrenList);        //初始化孩子链表
LOS_ListInit(&processCB->exitChildList);    //初始化记录哪些孩子退出了的链表    
LOS_ListInit(&(processCB->waitList));        //初始化等待链表

for (count = 0; count < OS_PRIORITY_QUEUE_NUM; ++count) { //根据 priority数 创建对应个数的队列
LOS_ListInit(&processCB->threadPriQueueList[count]);  
}

if (OsProcessIsUserMode(processCB)) {// 是否为用户态进程
space = LOS_MemAlloc(m_aucSysMem0, sizeof(LosVmSpace));
if (space == NULL) {
PRINT_ERR(“%s %d, alloc space failed\n”, FUNCTIONLINE);
return LOS_ENOMEM;
}
VADDR_T ttb = LOS_PhysPagesAllocContiguous(1);//分配一个物理页用于存储L1页表 4G虚拟内存分成 (40961M)
if (ttb == NULL) {//这里直接获取物理页ttb
PRINT_ERR(“%s %d, alloc ttb or space failed\n”, FUNCTIONLINE);
(VOID)LOS_MemFree(m_aucSysMem0, space);
return LOS_ENOMEM;
}
(VOID)memset_s(ttb, PAGE_SIZE, 0, PAGE_SIZE);
retVal = OsUserVmSpaceInit(space, ttb);//初始化虚拟空间和本进程 mmu
vmPage = OsVmVaddrToPage(ttb);//通过虚拟地址拿到page
if ((retVal == FALSE) || (vmPage == NULL)) {//异常处理
PRINT_ERR(“create space failed! ret: %d, vmPage: %#x\n”, retVal, vmPage);
processCB->processStatus = OS_PROCESS_FLAG_UNUSED;//进程未使用,干净
(VOID)LOS_MemFree(m_aucSysMem0, space);//释放虚拟空间
LOS_PhysPagesFreeContiguous(ttb, 1);//释放物理页,4K
return LOS_EAGAIN;
}
processCB->vmSpace = space;//设为进程虚拟空间
LOS_ListAdd(&processCB->vmSpace->archMmu.ptList, &(vmPage->node));//将空间映射页表挂在 空间的mmu L1页表, L1为表头
} else {
processCB->vmSpace = LOS_GetKVmSpace();//内核共用一个虚拟空间,内核进程 常驻内存
}

#ifdef LOSCFG_SECURITY_VID
status = VidMapListInit(processCB);
if (status != LOS_OK) {
PRINT_ERR(“VidMapListInit failed!\n”);
return LOS_ENOMEM;
}
#endif
#ifdef LOSCFG_SECURITY_CAPABILITY
OsInitCapability(processCB);
#endif

if (OsSetProcessName(processCB, name) != LOS_OK) {
return LOS_ENOMEM;
}

return LOS_OK;
}
LosVmSpace *LOS_GetKVmSpace(VOID)
{
return &g_kVmSpace;
}

从代码可以看出,内核空间固定只有一个 g_kVmSpace,而每个用户进程的虚拟内存空间都是独立的。请细品!

task 是如何申请内存的?

task 的主体是来自进程池,task 池是统一分配的,怎么创建 task 池的去翻系列篇里的文章。这里 task 只需要申请 stack 空间,还是直接上看源码吧,用 OsUserInitProcess 函数看应用程序的 main () 是如何被内核创建任务和运行的。

//所有的用户进程都是使用同一个用户代码段描述符和用户数据段描述符,它们是__USER_CS和__USER_DS,也就是每个进程处于用户态时,它们的CS寄存器和DS寄存器中的值是相同的。当任何进程或者中断异常进入内核后,都是使用相同的内核代码段描述符和内核数据段描述符,它们是__KERNEL_CS和__KERNEL_DS。这里要明确记得,内核数据段实际上就是内核态堆栈段。
LITE_OS_SEC_TEXT_INIT UINT32 OsUserInitProcess(VOID)
{
INT32 ret;
UINT32 size;
TSK_INIT_PARAM_S param = { 0 };
VOID *stack = NULL;
VOID *userText = NULL;
CHAR *userInitTextStart = (CHAR *)&__user_init_entry;//代码区开始位置 ,所有进程
CHAR *userInitBssStart = (CHAR *)&__user_init_bss;// 未初始化数据区(BSS)。在运行时改变其值
CHAR *userInitEnd = (CHAR *)&__user_init_end;// 结束地址
UINT32 initBssSize = userInitEnd - userInitBssStart;
UINT32 initSize = userInitEnd - userInitTextStart;

LosProcessCB *processCB = OS_PCB_FROM_PID(g_userInitProcess);
ret = OsProcessCreateInit(processCB, OS_USER_MODE, “Init”, OS_PROCESS_USERINIT_PRIORITY);// 初始化用户进程,它将是所有应用程序的父进程
if (ret != LOS_OK) {
return ret;
}

userText = LOS_PhysPagesAllocContiguous(initSize >> PAGE_SHIFT);// 分配连续的物理页
if (userText == NULL) {
ret = LOS_NOK;
goto ERROR;
}

(VOID)memcpy_s(userText, initSize, (VOID *)&__user_init_load_addr, initSize);// 安全copy 经加载器load的结果 __user_init_load_addr -> userText
ret = LOS_VaddrToPaddrMmap(processCB->vmSpace, (VADDR_T)(UINTPTR)userInitTextStart, LOS_PaddrQuery(userText),
initSize, VM_MAP_REGION_FLAG_PERM_READ | VM_MAP_REGION_FLAG_PERM_WRITE |
VM_MAP_REGION_FLAG_PERM_EXECUTE | VM_MAP_REGION_FLAG_PERM_USER);// 虚拟地址与物理地址的映射
if (ret < 0) {
goto ERROR;
}

(VOID)memset_s((VOID *)((UINTPTR)userText + userInitBssStart - userInitTextStart), initBssSize, 0, initBssSize);// 除了代码段,其余都清0

stack = OsUserInitStackAlloc(g_userInitProcess, &size);// 初始化堆栈区
if (stack == NULL) {
PRINTK(“user init process malloc user stack failed!\n”);
ret = LOS_NOK;

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注鸿蒙)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

user stack failed!\n");
ret = LOS_NOK;

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注鸿蒙)
[外链图片转存中…(img-6C4EH0dn-1713219630455)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

  • 15
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值