shmget物理内存_一文解析Linux内存系统

最新推荐文章于 2021-10-07 20:00:59 发布

心选办公

最新推荐文章于 2021-10-07 20:00:59 发布

阅读量455

点赞数

文章标签： shmget物理内存

本文链接：https://blog.csdn.net/weixin_34611277/article/details/112836423

版权

本文全面解析Linux内存系统，涵盖内存组织结构、页面布局、内存碎片优化算法、内核内存管理方法、内存使用场景及常见陷阱。通过深入探讨MMU地址转换、分段与分页机制，介绍了伙伴系统和slab算法如何解决内存碎片问题，以及内存分配策略。同时，文章讨论了内核态和用户态地址空间、内存池、DMA内存以及用户态和内核态的内存分配函数。最后，文章列举了内存使用过程中的常见问题，如内存泄露、野指针和资源访问冲突，提供了检查和优化内存使用的工具和技巧。

摘要由CSDN通过智能技术生成

Linux内存是后台开发人员，需要深入了解的计算机资源。合理的使用内存，有助于提升机器的性能和稳定性。本文主要介绍Linux内存组织结构和页面布局，内存碎片产生原因和优化算法，Linux内核几种内存管理的方法，内存使用场景以及内存使用的那些坑。

从内存的原理和结构，到内存的算法优化，再到使用场景，去探寻内存管理的机制和奥秘。

一、走进Linux内存

1、内存是什么？1)内存又称主存，是CPU能直接寻址的存储空间，由半导体器件制成2)内存的特点是存取速率快

2、内存的作用

1)暂时存放cpu的运算数据

2)硬盘等外部存储器交换的数据

3)保障cpu计算的稳定性和高性能

二、Linux内存地址空间

1、Linux内存地址空间Linux内存管理全貌

2、内存地址——用户态&内核态

用户态：Ring3运行于用户态的代码则要受到处理器的诸多

内核态：Ring0在处理器的存储保护中，核心态

用户态切换到内核态的3种方式：系统调用、异常、外设中断

区别：每个进程都有完全属于自己的，独立的，不被干扰的内存空间；用户态的程序就不能随意操作内核地址空间，具有一定的安全保护作用；内核态线程共享内核地址空间；

3、内存地址——MMU地址转换

MMU是一种硬件电路，它包含两个部件，一个是分段部件，一个是分页部件

分段机制把一个逻辑地址转换为线性地址

分页机制把一个线性地址转换为物理地址

4、内存地址——分段机制1)段选择符

为了方便快速检索段选择符，处理器提供了6个分段寄存器来缓存段选择符，它们是：cs,ss,ds,es,fs和gs

段的基地址(BaseAddress)：在线性地址空间中段的起始地址

段的界限(Limit)：在虚拟地址空间中，段内可以使用的最大偏移量

2)分段实现

逻辑地址的段寄存器中的值提供段描述符，然后从段描述符中得到段基址和段界限，然后加上逻辑地址的偏移量，就得到了线性地址

5、内存地址——分页机制(32位)

分页机制是在分段机制之后进行的，它进一步将线性地址转换为物理地址

10位页目录，10位页表项，12位页偏移地址

单页的大小为4KB

6、用户态地址空间

TEXT：代码段可执行代码、字符串字面值、只读变量

DATA：数据段，映射程序中已经初始化的全局变量

BSS段：存放程序中未初始化的全局变量

HEAP：运行时的堆，在程序运行中使用malloc申请的内存区域

MMAP：共享库及匿名文件的映射区域

STACK：用户进程栈

7、内核态地址空间

直接映射区：线性空间中从3G开始最大896M的区间，为直接内存映射区

动态内存映射区：该区域由内核函数vmalloc来分配

永久内存映射区：该区域可访问高端内存

固定映射区：该区域和4G的顶端只有4k的隔离带，其每个地址项都服务于特定的用途，如：ACPI_BASE等

8、进程内存空间

用户进程通常情况只能访问用户空间的虚拟地址，不能访问内核空间虚拟地址

内核空间是由内核负责映射，不会跟着进程变化；内核空间地址有自己对应的页表，用户进程各自有不同额页表

三、Linux内存分配算法

内存管理算法：对讨厌自己管理内存的人来说是天赐的礼物。1、内存碎片1)基本原理

产生原因：内存分配较小，并且分配的这些小的内存生存周期又较长，反复申请后将产生内存碎片的出现

优点：提高分配速度，便于内存管理，防止内存泄露

缺点：大量的内存碎片会使系统缓慢，内存使用率低，浪费大

2)如何避免内存碎片

少用动态内存分配的函数(尽量使用栈空间)

分配内存和释放的内存尽量在同一个函数中

尽量一次性申请较大的内存，而不要反复申请小内存

尽可能申请大块的2的指数幂大小的内存空间

外部碎片避免——伙伴系统算法

内部碎片避免——slab算法

自己进行内存管理工作，设计内存池

2、伙伴系统算法——组织结构1)概念

为内核提供了一种用于分配一组连续的页而建立的一种高效的分配策略，并有效的解决了外碎片问题

分配的内存区是以页框为基本单位的

2)外部碎片

外部碎片指的是还没有被分配出去(不属于任何进程)，但由于太小了无法分配给申请内存空间的新进程的内存空闲区域3)组织结构

把所有的空闲页分组为11个块链表，每个块链表分别包含大小为1，2，4，8，16，32，64，128，256，512和1024个连续页框的页块。最大可以申请1024个连续页，对应4MB大小的连续内存。

3、伙伴系统算法——申请和回收1)申请算法

申请2^i个页块存储空间，如果2^i对应的块链表有空闲页块，则分配给应用

如果没有空闲页块，则查找2^(i1)对应的块链表是否有空闲页块，如果有，则分配2^i块链表节点给应用，另外2^i块链表节点插入到2^i对应的块链表中

如果2^(i1)块链表中没有空闲页块，则重复步骤2，直到找到有空闲页块的块链表

如果仍然没有，则返回内存分配失败

2)回收算法

释放2^i个页块存储空间，查找2^i个页块对应的块链表，是否有与其物理地址是连续的页块，如果没有，则无需合并

如果有，则合并成2^(i1)的页块，以此类推，继续查找下一级块链接，直到不能合并为止

3)条件

两个块具有相同的大小

它们的物理地址是连续的

页块大小相同

4、如何分配4M以上内存？1)为何限制大块内存分配

分配的内存越大,失败的可能性越大

大块内存使用场景少

2)内核中获取4M以上大内存的方法

修改MAX_ORDER,重新编译内核

内核启动选型传递'mem='参数,如'mem=80M，预留部分内存；然后通过

request_mem_region和ioremap_nocache将预留的内存映射到模块中。需要修改内核启动参数,无需重新编译内核.但这种方法不支持x86架构,只支持ARM,PowerPC等非x86架构

在start_kernel中mem_init函数之前调用alloc_boot_mem函数预分配大块内存,需要重新编译内核

vmalloc函数，内核代码使用它来分配在虚拟内存中连续但在物理内存中不一定连续的内存

5、伙伴系统——反碎片机制1)不可移动页

这些页在内存中有固定的位置，不能够移动，也不可回收

内核代码段，数据段，内核kmalloc()出来的内存，内核线程占用的内存等

2)可回收页

这些页不能移动，但可以删除。内核在回收页占据了太多的内存时或者内存短缺时进行页面回收3)可移动页

这些页可以任意移动，用户空间应用程序使用的页都属于该类别。它们是通过页表映射的

当它们移动到新的位置，页表项也会相应的更新

6、slab算法——基本原理1)基本概念

Linux所使用的slab分配器的基础是JeffBonwick为SunOS操作系统首次引入的一种算法

它的基本思想是将内核中经常使用的对象放到高速缓存中，并且由系统保持为初始的可利用状态。比如进程描述符，内核中会频繁对此数据进行申请和释放

2)内部碎片

已经被分配出去的的内存空间大于请求所需的内存空间3)基本目标

减少伙伴算法在分配小块连续内存时所产生的内部碎片

将频繁使用的对象缓存起来，减少分配、初始化和释放对象的时间开销

通过着色技术调整对象以更好的使用硬件高速缓存

7、slab分配器的结构

由于对象是从slab中分配和释放的，因此单个slab可以在slab列表之间进行移动

slabs_empty列表中的slab是进行回收(reaping)的主要备选对象

slab还支持通用对象的初始化，从而避免了为同一目而对一个对象重复进行初始化

8、slab高速缓存1)普通高速缓存

slab分配器所提供的小块连续内存的分配是通过通用高速缓存实现的

通用高速缓存所提供的对象具有几何分布的大小，范围为32到131072字节。

内核中提供了kmalloc()和kfree()两个接口分别进行内存的申请和释放

2)专用高速缓存

内核为专用高速缓存的申请和释放提供了一套完整的接口，根据所传入的参数为具体的对象分配slab缓存

kmem_cache_create()用于对一个指定的对象创建高速缓存。它从cache_cache普通高速缓存中为新的专有缓存分配一个高速缓存描述符，并把这个描述符插入到高速缓存描述符形成的cache_chain链表中

kmem_cache_alloc()在其参数所指定的高速缓存中分配一个slab。相反，kmem_cache_free()在其参数所指定的高速缓存中释放一个slab

9、内核态内存池1)基本原理

先申请分配一定数量的、大小相等(一般情况下)的内存块留作备用

当有新的内存需求时，就从内存池中分出一部分内存块，若内存块不够再继续申请新的内存

这样做的一个显著优点是尽量避免了内存碎片，使得内存分配效率得到提升

2)内核API

mempool_create创建内存池对象

mempool_alloc分配函数获得该对象

mempool_free释放一个对象

mempool_destroy销毁内存池

10、用户态内存池1)C++++实例

11、DMA内存1)什么是DMA

能向CPU发出系统保持(HOLD)信号，提出总线接管请求

当CPU发出允许接管信号后，负责对总线的控制，进入DMA方式

能对存储器寻址及能修改地址指针，实现对内存的读写操作

能决定本次DMA传送的字节数，判断DMA传送是否结束

发出DMA结束信号，使CPU恢复正常工作状态

2)DMA信号

DREQ：DMA请求信号。是外设向DMA控制器提出要求，DMA操作的申请信号

DACK：DMA响应信号。是DMA控制器向提出DMA请求的外设表示已收到请求和正进行处理的信号

HRQ：DMA控制器向CPU发出的信号，要求接管总线的请求信号。

HLDA：CPU向DMA控制器发出的信号，允许接管总线的应答信号：

四、内存使用场景

outofmemory的时代过去了吗？no，内存再充足也不可任性使用。1、内存的使用场景

page管理

slab(kmalloc、内存池)

用户态内存使用(malloc、relloc文件映射、共享内存)

程序的内存map(栈、堆、code、data)

内核和用户态的数据传递(copy_from_user、copy_to_user)

内存映射(硬件寄存器、保留内存)

DMA内存

2、用户态内存分配函数

alloca是向栈申请内存,因此无需释放

malloc所分配的内存空间未被初始化，使用malloc()函数的程序开始时(内存空间还没有被重新分配)能正常运行，但经过一段时间后(内存空间已被重新分配)可能会出现问题

calloc会将所分配的内存空间中的每一位都初始化为零

realloc扩展现有内存空间大小

a)如果当前连续内存块足够realloc的话，只是将p所指向的空间扩大，并返回p的指针地址。这个时候q和p指向的地址是一样的

b)如果当前连续内存块不够长度，再找一个足够长的地方，分配一块新的内存，q，并将p指向的内容copy到q，返回q。并将p所指向的内存空间删除

3、内核态内存分配函数函数分配原理最大内存其他_get_free_pages直接对页框进行操作4MB适用于分配较大量的连续物理内存kmem_cache_alloc基于slab机制实现128KB适合需要频繁申请释放相同大小内存块时使用kmalloc基于kmem_cache_alloc实现128KB最常见的分配方式，需要小于页框大小的内存时可以使用vmalloc建立非连续物理内存到虚拟地址的映射物理不连续，适合需要大内存，但是对地址连续性没有要求的场合dma_alloc_coherent基于_alloc_pages实现4MB适用于DMA操作ioremap实现已知物理地址到虚拟地址的映射适用于物理地址已知的场合，如设备驱动alloc_bootmem在启动kernel时，预留一段内存，内核看不见小于物理内存大小，内存管理要求较高4、malloc申请内存

调用malloc函数时，它沿free_chuck_list连接表寻找一个大到足以满足用户请求所需要的内存块

free_chuck_list连接表的主要工作是维护一个空闲的堆空间缓冲区链表

如果空间缓冲区链表没有找到对应的节点，需要通过系统调用sys_brk延伸进程的栈空间

5、缺页异常

通过get_free_pages申请一个或多个物理页面

换算addr在进程pdg映射中所在的pte地址

将addr对应的pte设置为物理页面的首地址

系统调用：Brk—申请内存小于等于128kb，do_map—申请内存大于128kb

6、用户进程访问内存分析

用户态进程独占虚拟地址空间，两个进程的虚拟地址可相同

在访问用户态虚拟地址空间时，如果没有映射物理地址，通过系统调用发出缺页异常

缺页异常陷入内核，分配物理地址空间，与用户态虚拟地址建立映射