linux free命令与内存机制

http://blog.csdn.net/yysdsyl/article/details/2453206

http://crazyming.blog.51cto.com/1048571/590074

http://blog.csdn.net/tianlesoftware/article/details/5463790

细心的朋友会注意到,当你在linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching.这个问题,貌似有不少人在问,.那么我来谈谈这个问题.

一、free命令

语法
free [-b|-k|-m|-g] [-l] [-o] [-t] [-s delay] [-c count] [-V]

常用参数详解
-b， -k，-m，-g：分别以字节（ bytes、KB、MB、GB）为单位显示内存使用情况
-s  delay：显示每隔多少秒数来显示一次内存使用情况（与-c一起使用）
-c：按每隔几秒显示内存使用情况时的刷新次数（与-s一起使用）
-t：显示内存总和列。
-o：不显示缓冲区调节列
-V：free的版本

[root@server ~]# free -m

                   total       used       free     shared    buffers     cached
Mem:          3034       2938         96          0        101       1300
-/+ buffers/cache:       1536       1497
Swap:         1983         71       1912

其中:

       Mem：表示物理内存统计

　　-/+ buffers/cached：表示物理内存的缓存统计

　　Swap：表示硬盘上交换分区的使用情况，这里我们不去关心。

　　系统的总物理内存：3034M，但系统当前真正可用的内存b并不是第一行free 标记的 96M，它仅代表未被分配的内存。

　　我们使用total1、used1、free1、used2、free2 等名称来代表上面统计数据的各值，1、2 分别代表第一行和第二行的数据。

　　total1：表示物理内存总量。

　　used1：表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。（包括实际使用的内存和分配但未使用的内存）

　　free1：未被分配的内存。

　　shared1：共享内存，一般系统不会用到，这里也不讨论。

　　buffers1：系统分配但未被使用的buffers 数量。

　　cached1：系统分配但未被使用的cache 数量。buffer 与cache 的区别见后面。

　　used2：实际使用的buffers 与cache 总量，也是实际使用的内存总量。

　　free2：未被使用的buffers 与cache 和未被分配的内存之和，这就是系统当前实际可用内存。

　　可以整理出如下等式：

total1 = used1 + free1

total1 = used2 + free2

used1 = buffers1 + cached1 + used2

free2（当前可用的memory) = buffers1 + cached1 + free1

更详细的解析：

                   total       used       free     shared    buffers     cached
Mem:           241        61          180          0          7            36
-/+ buffers/cache:        17         223
Swap:         1019         0          1019

1）第一行：mem，表示操作系统物理内存使用情况（ 针对操作系统而言）
total 241：表示物理内存总量为241M
used 61：表示总计分配给缓存（包含buffers 与cache，及应用程序 ）使用的数量，但其中可能部分缓存并未实际使用，即61M
free 180：表示未被分配的内存数据为180M
share 0：表示应该程序的共享内存为0M
buffers 7：表示系统分配但未被使用的buffers数量
cached 36：表示系统分配但未被使用的cache数量
公式如下：
（1）total=used+free=61M+180M=241M
（2）used1=buffers1+cached 1(maybe add shared also)+application(used2)=7+36+17=60（因采用MB为单位，所以存在误差）
注意： 为了提高磁盘存取效率, Linux做了一些精心的设计, 除了对dentry进行缓存（用于VFS,加速文件路径名到inode的转换）, 还采取了两种主要Cache方式：Buffer Cache和Page Cache。（呵呵！看到了吧，所以针对操作系统的内存使用情况，usered=buffers+cached+application(used2）前者针对磁盘块的读写，后者针对文件inode的读写。这些Cache有效缩短了 I/O系统调用(比如read,write,getdents)的时间 

2）第二行：-/+ buffers/cached，表示应用程序的内存使用情况  （针对应用程序而言）
-buffers/cache：应用程序已用的内存大小used2=等于used1(系统总计分配的内存)-缓存值（buffer1和cache1）=61-7-36=18M，（因采用MB为单位，所以存在误差）
+buffers/cache：所有可供应用程序使用的内存大小free2=等于free1+缓存值（buffer1和cache1）=180+7+36=223M
所以-buffer/cache反映的是：程序实实在在吃掉的内存；而+buffer/cache反映的是：可以挪用的内存总数
公式如下：
（1）-buffers/cache=used-buffers-cached
（2）+buffers/cache=free+buffers+cached 
注意：由于第二行描述的是应用程序的内存使用情况，所以这里的used表示当前应用程序所占用的内存，而free则表示应用程序还可以使用内存（总的物理内存 - 应用程序已经使用的)

3）第三行：Swap，表示硬盘上交换分区的使用情况。只有mem被当前进程实际占用完,即没有了buffers和cache时，才会使用到swap。
total 1019：表示总的交换分区的空间大小
used 0：表示当前还没有使用交换分区那部分空间
free 1019：表示还可用的交换分区的空间大小
注意：linux系统中，如果swap分区的空量也开始使用的话，则表示你的内存可能不够用，需要加一些内存了，因为linux是先使用内存的容量，当内存不够用时，才会使用swap分区的空间，这一点也正是与windows的区别；windows是使用swap分区，后使用内存的（看了很生气，有内存不用，反而使用磁盘中所划分出来的虚拟内存，你说直接使用内存好，还是读取磁盘好，当然是直接读内存）

二、释放cache

[root@server ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           249        163         86          0         10         94
-/+ buffers/cache:         58        191
Swap:          511          0        511

有了这个基础后,可以得知,我现在used为163MB,free为86,buffer和cached分别为10,94

那么我们来看看,如果我执行复制文件,内存会发生什么变化.

[root@server ~]# cp -r /etc ~/test/
[root@server ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           249        244          4          0          8        174
-/+ buffers/cache:         62        187
Swap:          511          0        511

在我命令执行结束后,used为244MB,free为4MB,buffers为8MB,cached为174MB,天呐都被cached吃掉了.别紧张,这是为了提高文件读取效率的做法.

引用[url]http://www.2qyou.com/thread-591-1-1.html[/url] 为了提高磁盘存取效率, Linux做了一些精心的设计, 除了对dentry进行缓存(用于VFS,加速文件路径名到inode的转换), 还采取了两种主要Cache方式：Buffer Cache和Page Cache。前者针对磁盘块的读写，后者针对文件inode的读写。这些Cache有效缩短了 I/O系统调用(比如read,write,getdents)的时间。"

那么有人说过段时间,linux会自动释放掉所用的内存,我们使用free再来试试,看看是否有释放>?

[root@server test]# free -m
             total       used       free     shared    buffers     cached
Mem:           249        244          5          0          8        174
-/+ buffers/cache:         61        188
Swap:          511          0        511

MS没有任何变化,那么我能否手动释放掉这些内存呢???回答是可以的!

/proc是一个虚拟文件系统,我们可以通过对它的读写操作做为与kernel实体间进行通信的一种手段.也就是说可以通过修改/proc中的文件,来对当前kernel的行为做出调整.那么我们可以通过调整/proc/sys/vm/drop_caches来释放内存.操作如下:

[root@server test]# cat /proc/sys/vm/drop_caches
0
首先,/proc/sys/vm/drop_caches的值,默认为0

[root@server test]# sync

手动执行sync命令(描述:sync 命令运行 sync 子例程。如果必须停止系统，则运行 sync 命令以确保文件系统的完整性。sync 命令将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件)

[root@server test]# echo 3 > /proc/sys/vm/drop_caches
[root@server test]# cat /proc/sys/vm/drop_caches
3

将/proc/sys/vm/drop_caches值设为3

[root@server test]# free -m
             total       used       free     shared    buffers     cached
Mem:           249         66        182          0          0         11
-/+ buffers/cache:         55        194
Swap:          511          0        511

再来运行free命令,发现现在的used为66MB,free为182MB,buffers为0MB,cached为11MB.那么有效的释放了buffer和cache.

有关/proc/sys/vm/drop_caches的用法在下面进行了说明

/proc/sys/vm/drop_caches (since Linux 2.6.16)
Writing  to  this  file  causes the kernel to drop clean caches,
dentries and inodes from memory, causing that memory  to  become
free.

To  free  pagecache,  use  echo 1 > /proc/sys/vm/drop_caches; to
free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;
to   free   pagecache,   dentries  and  inodes,  use  echo  3  >
/proc/sys/vm/drop_caches.

Because this is a non-destructive operation  and  dirty  objects
are not freeable, the user should run sync(8) first.

注：一般不建议释放cache内存，因为cache可以提高系统性能。

三、 Swap配置对性能的影响

       分配太多的Swap空间会浪费磁盘空间，而Swap空间太少，则系统会发生错误。 如果系统的物理内存用光了，系统就会跑得很慢，但仍能运行；如果Swap空间用光了，那么系统就会发生错误。例如，Web服务器能根据不同的请求数量衍生出多个服务进程（或线程），如果Swap空间用完，则服务进程无法启动，通常会出现“application is out of memory”的错误，严重时会造成服务进程的死锁。因此Swap空间的分配是很重要的。

       通常情况下，Swap空间应大于或等于物理内存的大小，最小不应小于64M，通常Swap空间的大小应是物理内存的2-2.5倍。但根据不同的应用，应有不同的配置：如果是小的桌面系统，则只需要较小的Swap空间，而大的服务器系统则视情况不同需要不同大小的Swap空间。特别是数据库服务器和Web服务器，随着访问量的增加，对Swap空间的要求也会增加，一般来说对于4G以下的物理内存，配置2倍的swap，4G以上配置1倍。

另外，Swap分区的数量对性能也有很大的影响。因为Swap交换的操作是磁盘IO的操作，如果有多个Swap交换区，Swap空间的分配会以轮流的方式操作于所有的Swap，这样会大大均衡IO的负载，加快Swap交换的速度。如果只有一个交换区，所有的交换操作会使交换区变得很忙，使系统大多数时间处于等待状态，效率很低。用性能监视工具就会发现，此时的CPU并不很忙，而系统却慢。这说明，瓶颈在IO上，依靠提高CPU的速度是解决不了问题的。

 

四.  Linux 内存机制

Linux支持虚拟内存(Virtual Mmemory)，虚拟内存是指使用磁盘当作RAM的扩展，这样可用的内存的大小就相应地增大了。内核会将暂时不用的内存块的内容写到硬盘上，这样一来，这块内存就可用于其它目的。当需要用到原始的内容时，它们被重新读入内存。这些操作对用户来说是完全透明的;Linux下运行的程序只是看到有大量的内存可供使用而并没有注意到时不时它们的一部分是驻留在硬盘上的。当然，读写硬盘要比直接使用真实内存慢得多(要慢数千倍)，所以程序就不会象一直在内存中运行的那样快。用作虚拟内存的硬盘部分被称为交换空间(Swap Space)。

 

一般，在交换空间中的页面首先被换入内存;如果此时没有足够的物理内存来容纳它们又将被交换出来(到其他的交换空间中)。如果没有足够的虚拟内存来容纳所有这些页面，Linux就会波动而不正常;但经过一段较长的时间Linux会恢复，但此时系统已不可用了。
       有时，尽管有许多的空闲内存，仍然会有许多的交换空间正被使用。这种情况是有可能发生的，例如如果在某一时刻有进行交换的必要，但后来一个占用很多物理内存的大进程结束并释放内存时。被交换出的数据并不会自动地交换进内存，除非有这个需要时。此时物理内存会在一段时间内保持空闲状态。对此并没有什么可担心的，但是知道了是怎么一回事，也就无所谓了。
       许多操作系统使用了虚拟内存的方法。因为它们仅在运行时才需要交换空间，以解决不会在同一时间使用交换空间，因此，除了当前正在运行的操作系统的交换空间，其它的就是一种浪费。所以让它们共享一个交换空间将会更有效率。

 

注意：如果会有几个人同时使用这个系统，他们都将消耗内存。然而，如果两个人同时运行一个程序，内存消耗的总量并不是翻倍，因为代码页以及共享的库只存在一份。

       Linux系统常常动不动就使用交换空间，以保持尽可能多的空闲物理内存。即使并没有什么事情需要内存，Linux也会交换出暂时不用的内存页面。这可以避免等待交换所需的时间：当磁盘闲着，就可以提前做好交换。可以将交换空间分散在几个硬盘之上。针对相关磁盘的速度以及对磁盘的访问模式，这样做可以提高性能。

       与访问物理内存相比，磁盘的读写是很慢的。另外，在相应较短的时间内多次读磁盘同样的部分也是常有的事。例如，某人也许首先阅读了一段E-mail消息，然后为了答复又将这段消息读入编辑器中，然后又在将这个消息拷贝到文件夹中时，使得邮件程序又一次读入它。或者考虑一下在一个有着许多用户的系统中 ls命令会被使用多少次。通过将信息从磁盘上仅读入一次并将其存于内存中，除了第一次读以外，可以加快所有其它读的速度。这叫作磁盘缓冲(Disk Buffering)，被用作此目的的内存称为高速缓冲(Buffer Cache)。但是，由于内存是一种有限而又不充足的资源，高速缓冲不可能做的很大(它不可能包容要用到的所有数据)。当缓冲充满了数据时，其中最长时间不用的数据将被舍弃以腾出内存空间用于新的数据。

       对写磁盘操作来说磁盘缓冲技术同样有效。一方面，被写入磁盘的数据常常会很快地又被读出(例如，原代码文件被保存到一个文件中，又被编译器读入)，所以将要被写的数据放入缓冲中是个好主意。另一方面，通过将数据放入缓冲中，而不是将其立刻写入磁盘，程序可以加快运行的速度。以后，写的操作可以在后台完成，而不会拖延程序的执行。

大多数操作系统都有高速缓冲(尽管可能称呼不同)，但是并不是都遵守上面的原理。有些是直接写(Write-Through)：数据将被立刻写入磁盘(当然，数据也被放入缓存中)。如果写操作是在以后做的，那么该缓存被称为后台写(Write-Back)。后台写比直接写更有效，但也容易出错：如果机器崩溃，或者突然掉电，缓冲中改变过的数据就被丢失了。如果仍未被写入的数据含有重要的薄记信息，这甚至可能意味着文件系统(如果有的话)已不完整。

       针对以上的原因，出现了很多的日志文件系统，数据在缓冲区修改后，同时会被文件系统记录修改信息，这样即使此时系统掉电，系统重启后会首先从日志记录中恢复数据，保证数据不丢失。当然这些问题不再本文的叙述范围。

       由于上述原因，在使用适当的关闭过程之前，绝对不要关掉电源，Sync命令倾空(Flushes)缓冲，也即，强迫所有未被写的数据写入磁盘，可用以确定所有的写操作都已完成。在传统的UNIX系统中，有一个叫做update的程序运行于后台，每隔30秒做一次sync操作，因此通常无需手工使用sync命令了。Linux另外有一个后台程序，Bdflush，这个程序执行更频繁的但不是全面的同步操作，以避免有时sync的大量磁盘I/O操作所带来的磁盘的突然冻结。

       在Linux中，Bdflush（后改为pdflush）是由update启动的。通常没有理由来担心此事，但如果由于某些原因bdflush进程死掉了，内核会对此作出警告，此时你就要手工地启动它了(/sbin/update)。

缓存(Cache)实际并不是缓冲文件的，而是缓冲块的（很多资料说cache是缓存文件系统的，buffer是缓存块设备的），块是磁盘I/O操作的最小单元(在Linux中，它们通常是1KB)。这样，目录、超级块、其它文件系统的薄记数据以及非文件系统的磁盘数据都可以被缓冲了。缓冲的效力主要是由它的大小决定的。缓冲太小的话等于没用。它只能容纳一点数据，因此在被重用时，所有缓冲的数据都将被倾空。实际的大小依赖于数据读写的频次、相同数据被访问的频率。只有用实验的方法才能知道。
       如果缓存（内存中的缓存）有固定的大小，那么缓存太大了也不好，因为这会使得空闲的内存太小而导致进行交换操作(这同样是慢的)。为了最有效地使用实际内存，Linux自动地使用所有空闲的内存作为高速缓冲，当程序需要更多的内存时，它也会自动地减小缓冲的大小。

       这就是一般情况下Linux内存的一般机制，真正的Linux内存的运行机制远远比这个复杂。