Linux内存：内存管理的实质

最新推荐文章于 2024-10-11 20:52:27 发布

blue95wind

最新推荐文章于 2024-10-11 20:52:27 发布

阅读量596

点赞数

分类专栏： study 文章标签： linux list 数据库 struct buffer server

study 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

1. 内核初始化：

    * 内核建立好内核页目录页表数据库，假设物理内存大小为len，则建立了[3G--3G+len]::[0--len]这样的虚地址vaddr和物理地址paddr的线性对应关系；
    * 内核建立一个page数组，page数组和物理页面系列完全是线性对应，page用来管理该物理页面状态，每个物理页面的虚地址保存在page->virtual中；
    * 内核建立好一个free_list，将没有使用的物理页面对应的page放入其中，已经使用的就不用放入了；

2. 内核模块申请内存vaddr = get_free_pages(mask,order)：

    * 内存管理模块从free_list找到一个page，将page->virtual作为返回值，该返回值就是对应物理页面的虚地址；
    * 将page从free_list中脱离；
    * 模块使用该虚拟地址操作对应的物理内存；

3. 内核模块使用vaddr，例如执行指令mov(eax, vaddr)：

    * CPU获得vaddr这个虚地址，利用建立好的页目录页表数据库，找到其对应的物理内存地址；
    * 将eax的内容写入vaddr对应的物理内存地址内；

4. 内核模块释放内存free_pages(vaddr,order)：

    * 依据vaddr找到对应的page；
    * 将该page加入到free_list中；

5. 用户进程申请内存vaddr = malloc(size)：

    * 内存管理模块从用户进程内存空间(0--3G)中找到一块还没使用的空间vm_area_struct(start--end)；
    * 随后将其插入到task->mm->mmap链表中；

6. 用户进程写入vaddr(0-3G)，例如执行指令mov(eax, vaddr)：

    * CPU获得vaddr这个虚地址，该虚地址应该已经由glibc库设置好了，一定在3G一下的某个区域，根据CR3寄存器指向的current->pgd查当前进程的页目录页表数据库，发现该vaddr对应的页目录表项为0，故产生异常；
    * 在异常处理中，发现该vaddr对应的vm_area_struct已经存在，为vaddr对应的页目录表项分配一个页表；
    * 随后从free_list找到一个page，将该page对应的物理页面物理首地址赋给vaddr对应的页表表项，很明显，此时的vaddr和paddr不是线性对应关系了；
    * 将page从free_list中脱离；
    * 异常处理返回；
    * CPU重新执行刚刚发生异常的指令mov(eax, vaddr)；
    * CPU获得vaddr这个虚地址，根据CR3寄存器指向的current->pgd，利用建立好的页目录页表数据库，找到其对应的物理内存地址；
    * 将eax的内容写入vaddr对应的物理内存地址内；

7. 用户进程释放内存vaddr，free(vaddr)：

    * 找到该vaddr所在的vm_area_struct；
    * 找到vm_area_struct:start--end对应的所有页目录页表项，清空对应的所有页表项；
    * 释放这些页表项指向物理页面所对应的page，并将这些page加入到free_list队列中；
    * 有必要还会清空一些页目录表项，并释放这些页目录表项指向的页表；
    * 从task->mm->mmap链中删除该vm_area_struct并释放掉；

综合说明：

    * 可用物理内存就是free_list中各page对应的物理内存；
    * 页目录页表数据库的主要目的是为CPU访问物理内存时转换vaddr-->paddr使用，分配以及释放内存时不会用到，但是需要内核内存管理系统在合适时机为CPU建立好该库；
    * 对于用户进程在6中获得的物理页面，有两个页表项对应，一个就是内核页目录页表数据库的某个pte[i ]，一个就是当前进程内核页目录页表数据库的某个 pte[j]，但是只有一个page和其对应。如果此时调度到其他进程，其他进程申请并访问某个内存，则不会涉及到该物理页面，因为其分配时首先要从 free_list中找一个page，而该物理页面对应的page已经从free_list中脱离出来了，因此不存在该物理页面被其他进程改写操作的情况。内核中通过get_free_pages等方式获取内存时，也不会涉及到该物理页面，原理同前所述。

手动释放缓存
/proc是一个虚拟文件系统，我们可以通过对它的读写操作做为与kernel实体间进行通信的一种手段。也就是说可以通过修改/proc中的文件，来对当前kernel的行为做出调整。那么我们可以通过调整/proc/sys/vm/drop_caches来释放内存。操作如下：

[root@server test]# cat /proc/sys/vm/drop_caches
0

首先，/proc/sys/vm/drop_caches的值，默认为0。

[root@server test]# sync

手动执行sync命令（描述：sync 命令运行 sync 子例程。如果必须停止系统，则运行sync 命令以确保文件系统的完整性。sync 命令将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件）

[root@server test]# echo 3 > /proc/sys/vm/drop_caches
[root@server test]# cat /proc/sys/vm/drop_caches
3

将/proc/sys/vm/drop_caches值设为3

[root@server test]# free -m
total used free shared buffers cached
Mem: 249 66 182 0 0 11
-/+ buffers/cache: 55 194
Swap: 511 0 511

再来运行free命令，会发现现在的used为66MB，free为182MB，buffers为0MB，cached为11MB。那么有效的释放了buffer和cache。

◎ 有关/proc/sys/vm/drop_caches的用法在下面进行了说明

/proc/sys/vm/drop_caches (since Linux 2.6.16)
Writing to this file causes the kernel to drop clean caches,
dentries and inodes from memory, causing that memory to become
free.

To free pagecache, use echo 1 > /proc/sys/vm/drop_caches; to
free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;
to free pagecache, dentries and inodes, use echo 3 > /proc/sys/vm/drop_caches.

Because this is a non-destructive operation and dirty objects are not freeable, the user should run sync first.

意见
上述文章就长期以来很多用户对Linux内存管理方面的疑问，给出了一个比较“直观”的回复，我更觉得有点像是核心开发小组的妥协。
对于是否需要使用这个值，或向用户提及这个值，我是有保留意见的：

引用

1、从man可以看到，这值从2.6.16以后的核心版本才提供，也就是老版的操作系统，如红旗DC 5.0、RHEL 4.x之前的版本都没有；
2、若对于系统内存是否够用的观察，我还是原意去看swap的使用率和si/so两个值的大小；

用户常见的疑问是，为什么free这么小，是否关闭应用后内存没有释放？
但实际上，我们都知道这是因为Linux对内存的管理与Windows不同，free小并不是说内存不够用了，应该看的是free的第二行最后一个值：

引用

-/+ buffers/cache: 58 191

这才是系统可用的内存大小。
实际项目中告诉我们，如果因为是应用有像内存泄露、溢出的问题，从swap的使用情况是可以比较快速可以判断的，但free上面反而比较难查看。
相反，如果在这个时候，我们告诉用户，修改系统的一个值，“可以”释放内存，free就大了。用户会怎么想？不会觉得操作系统“有问题”吗？
所以说，我觉得既然核心是可以快速清空buffer或cache，也不难做到（这从上面的操作中可以明显看到），但核心并没有这样做（默认值是0），我们就不应该随便去改变它。
一般情况下，应用在系统上稳定运行了，free值也会保持在一个稳定值的，虽然看上去可能比较小。
当发生内存不足、应用获取不到可用内存、OOM错误等问题时，还是更应该去分析应用方面的原因，如用户量太大导致内存不足、发生应用内存溢出等情况，否则，清空buffer，强制腾出free的大小，可能只是把问题给暂时屏蔽了。

我觉得，排除内存不足的情况外，除非是在软件开发阶段，需要临时清掉buffer，以判断应用的内存使用情况；或应用已经不再提供支持，即使应用对内存的时候确实有问题，而且无法避免的情况下，才考虑定时清空buffer。（可惜，这样的应用通常都是运行在老的操作系统版本上，上面的操作也解决不了）。