别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

具体的,所有的空闲页框分组为11个块链表,每个块链表分别包含大小为1,2,4,8,16,32,64,128,256,512和1024个连续页框的页框块。最大可以申请1024个连续页框,对应4MB大小的连续内存。

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

伙伴系统

因为任何正整数都可以由 2^n 的和组成,所以总能找到合适大小的内存块分配出去,减少了外部碎片产生 。

分配实例

比如:我需要申请4个页框,但是长度为4个连续页框块链表没有空闲的页框块,伙伴系统会从连续8个页框块的链表获取一个,并将其拆分为两个连续4个页框块,取其中一个,另外一个放入连续4个页框块的空闲链表中。释放的时候会检查,释放的这几个页框前后的页框是否空闲,能否组成下一级长度的块。

命令查看

[lemon]]# cat /proc/buddyinfo Node 0, zone DMA 1 0 0 0 2 1 1 0 1 1 3 Node 0, zone DMA32 3198 4108 4940 4773 4030 2184 891 180 67 32 330 Node 0, zone Normal 42438 37404 16035 4386 610 121 22 3 0 0 1

slab分配器

看到这里你可能会想,有了伙伴系统这下总可以管理好物理内存了吧?不,还不够,否则就没有slab分配器什么事了。

那什么是slab分配器呢?

一般来说,内核对象的生命周期是这样的:分配内存-初始化-释放内存,内核中有大量的小对象,比如文件描述结构对象、任务描述结构对象,如果按照伙伴系统按页分配和释放内存,对小对象频繁的执行「分配内存-初始化-释放内存」会非常消耗性能。

伙伴系统分配出去的内存还是以页框为单位,而对于内核的很多场景都是分配小片内存,远用不到一页内存大小的空间。slab分配器,「通过将内存按使用对象不同再划分成不同大小的空间」,应用于内核对象的缓存。

伙伴系统和slab不是二选一的关系,slab 内存分配器是对伙伴分配算法的补充。

大白话说原理

对于每个内核中的相同类型的对象,如:task_struct、file_struct 等需要重复使用的小型内核数据对象,都会有个 slab 缓存池,缓存住大量常用的「已经初始化」的对象,每当要申请这种类型的对象时,就从缓存池的slab 列表中分配一个出去;而当要释放时,将其重新保存在该列表中,而不是直接返回给伙伴系统,从而避免内部碎片,同时也大大提高了内存分配性能。

主要优点

  • slab 内存管理基于内核小对象,不用每次都分配一页内存,充分利用内存空间,避免内部碎片。

  • slab 对内核中频繁创建和释放的小对象做缓存,重复利用一些相同的对象,减少内存分配次数。

数据结构

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

slab分配器

kmem_cache 是一个cache_chain 的链表组成节点,代表的是一个内核中的相同类型的「对象高速缓存」,每个kmem_cache 通常是一段连续的内存块,包含了三种类型的 slabs 链表:

  • slabs_full (完全分配的 slab 链表)

  • slabs_partial (部分分配的slab 链表)

  • slabs_empty ( 没有被分配对象的slab 链表)

kmem_cache 中有个重要的结构体 kmem_list3 包含了以上三个数据结构的声明。

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

kmem_list3 内核源码

slab 是slab 分配器的最小单位,在实现上一个 slab 由一个或多个连续的物理页组成(通常只有一页)。单个slab可以在 slab 链表之间移动,例如如果一个「半满slabs_partial链表」被分配了对象后变满了,就要从 slabs_partial 中删除,同时插入到「全满slabs_full链表」中去。内核slab对象的分配过程是这样的:

  1. 如果slabs_partial链表还有未分配的空间,分配对象,若分配之后变满,移动 slab 到slabs_full 链表

  2. 如果slabs_partial链表没有未分配的空间,进入下一步

  3. 如果slabs_empty 链表还有未分配的空间,分配对象,同时移动slab进入slabs_partial链表

  4. 如果slabs_empty为空,请求伙伴系统分页,创建一个新的空闲slab, 按步骤 3 分配对象

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

slab分配图解

命令查看

上面说的都是理论,比较抽象,动动手来康康系统中的 slab 吧!你可以通过 cat /proc/slabinfo 命令,实际查看系统中slab 信息。

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

slabinfo查询

slabtop 实时显示内核 slab 内存缓存信息。

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

slabtop查询

slab高速缓存的分类

slab高速缓存分为两大类,「通用高速缓存」和「专用高速缓存」。

通用高速缓存

slab分配器中用 kmem_cache 来描述高速缓存的结构,它本身也需要 slab 分配器对其进行高速缓存。cache_cache 保存着对「高速缓存描述符的高速缓存」,是一种通用高速缓存,保存在cache_chain 链表中的第一个元素。

另外,slab 分配器所提供的小块连续内存的分配,也是通用高速缓存实现的。通用高速缓存所提供的对象具有几何分布的大小,范围为32到131072字节。内核中提供了 kmalloc() 和 kfree() 两个接口分别进行内存的申请和释放。

专用高速缓存

内核为专用高速缓存的申请和释放提供了一套完整的接口,根据所传入的参数为指定的对象分配slab缓存。

专用高速缓存的申请和释放

kmem_cache_create() 用于对一个指定的对象创建高速缓存。它从 cache_cache 普通高速缓存中为新的专有缓存分配一个高速缓存描述符,并把这个描述符插入到高速缓存描述符形成的 cache_chain 链表中。kmem_cache_destory() 用于撤消和从 cache_chain 链表上删除高速缓存。

slab的申请和释放

slab 数据结构在内核中的定义,如下:

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

slab结构体内核代码

kmem_cache_alloc() 在其参数所指定的高速缓存中分配一个slab,对应的 kmem_cache_free() 在其参数所指定的高速缓存中释放一个slab。

虚拟内存分配


前面讨论的都是对物理内存的管理,Linux 通过虚拟内存管理,欺骗了用户程序假装每个程序都有 4G 的虚拟内存寻址空间(如果这里不懂我说啥,建议回头看下 别再说你不懂Linux内存管理了,10张图给你安排的明明白白!)。

所以我们来研究下虚拟内存的分配,这里包括用户空间虚拟内存和内核空间虚拟内存。

注意,分配的虚拟内存还没有映射到物理内存,只有当访问申请的虚拟内存时,才会发生缺页异常,再通过上面介绍的伙伴系统和 slab 分配器申请物理内存。

用户空间内存分配

malloc

malloc 用于申请用户空间的虚拟内存,当申请小于 128KB 小内存的时,malloc使用 sbrk或brk 分配内存;当申请大于 128KB 的内存时,使用 mmap 函数申请内存;

存在问题

由于 brk/sbrk/mmap 属于系统调用,如果每次申请内存都要产生系统调用开销,cpu 在用户态和内核态之间频繁切换,非常影响性能。

而且,堆是从低地址往高地址增长,如果低地址的内存没有被释放,高地址的内存就不能被回收,容易产生内存碎片。

解决

因此,malloc采用的是内存池的实现方式,先申请一大块内存,然后将内存分成不同大小的内存块,然后用户申请内存时,直接从内存池中选择一块相近的内存块分配出去。

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

内核空间内存分配

在讲内核空间内存分配之前,先来回顾一下内核地址空间。kmalloc 和 vmalloc 分别用于分配不同映射区的虚拟内存,看这张上次画的图:

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

内核空间细分区域

kmalloc

kmalloc() 分配的虚拟地址范围在内核空间的「直接内存映射区」。

按字节为单位虚拟内存,一般用于分配小块内存,释放内存对应于 kfree ,可以分配连续的物理内存。函数原型在 <linux/kmalloc.h> 中声明,一般情况下在驱动程序中都是调用 kmalloc() 来给数据结构分配内存 。

还记得前面说的 slab 吗?kmalloc 是基于slab 分配器的 ,同样可以用cat /proc/slabinfo 命令,查看 kmalloc 相关 slab 对象信息,下面的 kmalloc-8、kmalloc-16 等等就是基于slab分配的 kmalloc 高速缓存。

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

slabinfo-kmalloc

vmalloc

vmalloc 分配的虚拟地址区间,位于 vmalloc_start 与vmalloc_end 之间的「动态内存映射区」。

一般用分配大块内存,释放内存对应于 vfree,分配的虚拟内存地址连续,物理地址上不一定连续。函数原型在 <linux/vmalloc.h> 中声明。一般用在为活动的交换区分配数据结构,为某些 I/O 驱动程序分配缓冲区,或为内核模块分配空间。

下面的图总结了上述两种内核空间虚拟内存分配方式。

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

总结一下


Linux内存管理是一个非常复杂的系统,本文所述只是冰山一角,从宏观角度给你展现内存管理的全貌,但一般来说,这些知识在你和面试官聊天的时候还是够用的,当然也希望大家能够通过读书了解更深层次的原理。

本文可以作为一个索引一样的学习指南,当你想深入某一点学习的时候可以在这些章节里找到切入点,以及这个知识点在内存管理宏观上的位置。

要想深入研究并使用Linux 内核,首先要知道Linux内核提供了什么,又能做到什么。很多初学者一进入公司就开始使用Linux内核开发内核模块,无论是使用通信方式、内存接口还是设备接口,都是早已被淘汰的内容。因为他们通常直接在网络上搜索一些很早之前发布的内容来指导自己如何完成开发工作,但他们手中却.是最先进的内核代码。还有很多直接编写内核模块的人在嵌入式公司使用老版本的内核进行工作,虽然他们可能对内核之后的发展一无所知,但是他们能够一-下子抓住主干,主干永远是在老版本的内核中就存在的东西。

接下来小编就为大家分享一份《深入Linux内核架构与底层原理》的PDF,希望在以后的Linux的学习路上你不再孤单。

第一章linux总览

第二章Linux内核架构

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

第三章内核数据结构

第四章Linux系统的启动

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

第五章进程(重点)

第六章内存管理(重点)

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

第七章安全

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

第八章网络(重点)

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

第九章总线

第十章二进制(重点)

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

第十一章存储(重点)

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白

第十二章虚拟化与云
第十三章其他重要模块与高级管理工具
别再说你不懂Linux内存管理了,用这一份文档给你安排的明明白白
小编已经把这篇PDF整理好了,需要领取的朋友麻烦转发这篇文章,然后私信【学习】二字即可。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Linux运维工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Linux运维知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加VX:vip1024b (备注Linux运维获取)
img

最全的Linux教程,Linux从入门到精通

======================

  1. linux从入门到精通(第2版)

  2. Linux系统移植

  3. Linux驱动开发入门与实战

  4. LINUX 系统移植 第2版

  5. Linux开源网络全栈详解 从DPDK到OpenFlow

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷,并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本,循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘,内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件,供读者免费下载。

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读,同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

4aefb6a92edea27b825e59aa1f2c54.png)

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读,同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

一个人可以走的很快,但一群人才能走的更远。如果你从事以下工作或对以下感兴趣,欢迎戳这里加入程序员的圈子,让我们一起学习成长!

AI人工智能、Android移动开发、AIGC大模型、C C#、Go语言、Java、Linux运维、云计算、MySQL、PMP、网络安全、Python爬虫、UE5、UI设计、Unity3D、Web前端开发、产品经理、车载开发、大数据、鸿蒙、计算机网络、嵌入式物联网、软件测试、数据结构与算法、音视频开发、Flutter、IOS开发、PHP开发、.NET、安卓逆向、云计算

  • 23
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值