linux 物理内存统计,说说free命令 + Linux可用内存统计方法

关键在于两个字段，buffers和cached。

你经常会发现Linux系统用了一段时间后，内存所剩无几，free命令，一看，内存全跑到

buffers和cached里面了；这个现象是正常的。访问过的磁盘文件的元数据及内容，内核都会缓存起来。这些缓存就是磁盘缓存。

Linux磁盘缓存设计特点(设计理念)：

除了系统运行必须的一小部分保留外，只要有剩余内存，只要需要，就会用给磁盘缓存。(没有一个参数可以让你限定缓存的上限。2.6内核之前有一个限定参数，后来给取消了)所以会经常看到内存所剩无几的现象，这是缓存机制导致的，对应用是透明，在有内存需要时，这些内存会释放。这个过程对应用是透明的，应用可以认为系统的可用内存包括buffers和cached。)

这种设计，在大多数服务器应用场景下都有比较好的性能表现。可以说是比较可取的。

设计本身没有问题，但free命令显示的buffers和cached并不能和磁盘缓存完全对应，这是实现细节上的不足和问题。

1. buffers和cached包含了不属于磁盘缓存的内容。

由于buffers和cached实际上就是内核为所有文件映射分配的物理页的总和(page cache)。

但内核中的“文件概念”是广泛的，不仅包含了真正位于磁盘上的文件，还包含了为特殊需要创建的虚拟文件，比如：

进程间的共享内存(通过shmget API创建的内存)，内核建立一个虚拟的文件和共享内存关联起来。(通过pmap命令你可以看到进程拥有的共享内存地址空间的映射字段是/SYSVXXXX字样，不是匿名的)。

非常的不幸，这些虚拟文件映射关联的page，也被算入了free命令显示的cached字段。但这部分内存没有缓存属性，在内存不足时不能按缓存的方式来回收。(使用echo

3 >/proc/sys/vm/drop_caches，无法释放掉这部分内存)

这个问题，会带来一些麻烦。比如，按照常规理解，某产品设计内存占用过高告警的条件是，空闲内存+buffers+cached小于内存总和的20%

。一般情况下没有问题，但如果产品使用了大量的共享内存，告警将失去作用。

2. buffers和cached遗漏了部分属于磁盘缓存的内容。

还是由于buffers和cached只是内核为所有文件映射分配的物理页的总和。在文件系统方面，还有一部分缓存是不和文件映射相关联的，比如内核分配的inode对象，在文件关闭时，并不会立即释放，具备缓存的属性。这部分不在基于文件映射的页面里，而是通过slab(内核内存池)分配的。

这个问题，也会带来一些麻烦，比如某产品的一个现网问题，系统物理内存用了80%，但free

top命令显示，用户进程没有占用、cached

buffer也没有占用，于是担心是不是内核层内存泄露了，担心会有宕机风险。

经过分析，其实就是之前做了类似"find /“

这样的操作，导致内核分配了太多的inode对象，并且缓存起来了。但站在用户层来看，会比较困惑和担心。

通过echo 3

>/proc/sys/vm/drop_caches可以释放这部分内存，这从侧面也证明了这部分确实属于缓存的范畴。

在最新的SUSE11 SP1系统上，free命令已经把这部分内存包含到了cached字段。

Linux可用内存统计方法

背景由于Linux缓存机制的设计，系统对缓存的使用是非常狠的，所以经常会看到某些环境内存只剩几十兆了，而应用只用了不到一半。所以在计算可用内存的时候，一定要算上缓存的部分。通常方法，就是通过free命令首行free+cached+buffers计算，或者直接使用第二行的free字段。但这个方法有时仍然会造成比较大的误差，导致性能监控等方面的问题。比如系统中使用了大量的共享内存会造成多计算可用内存；再比如对大量的文件做了查询(find /

?!!!)，会导致少计算可用内存。对于这点我在《说说free命令》中有详细的说明。这里就不再赘述了。

SUSE11 SP1基于2.6.32内核，内核暴露了更多的统计接口给用户空间，把slab分为可回收和不可回收两类指标来统计。free命令也对应做了修改。解决了free命令少计算可用内存的问题。但多计算的问题还是存在。因此，在这里对统计可用内存的方法做了个总结。供需要的同学参考。(后面有空可能会开发一个统计工具)其中SUSE10由于内核版本过低(2.6.16)暴露信息不足，下面的方法仍然不能很精确，但相比通过free命令简单统计而言，一般不会造成比较大的误差。可用内存定义包括未被使用的空闲内存，以及已经被使用但用作缓存可以自动回收的部分。SUSE 10可用内存统计方法总内存：free命令首行total字段。空闲内存：free命令首行free字段。缓存：free命令首行buffers字段+cached字段。修正值1：cached字段包含了共享内存和tmpfs内存文件系统占用的内存。需要减去这两部分。这两部分内存可通过ipcs

-m -u和df命令获取。修正值2：cached字段漏掉了内核slab中可以自动回收的内存，比如xxx_inode_cache和dentry_cache。这两部分的内存的计算方法是解析/proc/slabinfo。最终的可用内存计算方法：空闲内存+缓存-修正值1+修正值2SUSE 11可用内存统计方法总内存：free命令首行total字段。空闲内存：free命令首行free字段。缓存：free命令首行buffers字段+cached字段。修正值1：cached字段包含了共享内存和tmpfs内存文件系统占用的内存。需要减去这两部分。这两部分内存之和可通过/proc/meminfo的Shmem字段直接获取。最终的可用内存计算方法：空闲内存+缓存-修正值1附1：ipcs获取共享内存占用物理内存大小# ipcs -m

-u

------ Shared Memory Status --------

segments allocated 4

pages allocated 786433pages

resident 2 #使用这个字段，单位是页，X86下一个页是4kBpages swapped 0

Swap performance: 0 attempts 0 successes附2：df获取tmpfs占用物理内存大小#

df

Filesystem 1K-blocks Used Available Use% Mounted on

/dev/sda2 20972152 4427900 16544252 22% /devtmpfs

24711780 160 24711620 1%

/dev #Used字段表示实际占用物理内存tmpfs

24711780 0 24711780 0%

/dev/shm #Used字段表示实际占用物理内存/dev/sda5 1052184 59188 992996 6% /boot

/dev/sda9 83888824 16852500 67036324 21% /iso

/dev/sda7 10490040 1142876 9347164 11% /opt

/dev/sda10 83888824 9421200 74467624 12% /src

/dev/sda8 20972152 3475104 17497048 17% /usr

/dev/sda6 5245016 328392 4916624 7% /var///增加统计工具2011.6.29///统计工具(在SUSE10、SUSE11验证通过)

1.修正可用内存多计算的情况(SUSE10 SUSE11)如下环境，在进行了大量共享内存创建使用后，free命令统计可用内存，出现了很大的误差。#echo 3

>/proc/sys/vm/drop_caches

#清理可回收的内存# free

total used free shared buffers

cached

Mem: 49423560 13609680 35813880 0

2676411686608

#仍有11G不可以回收，因为是共享内存，不具备回收属性。-/+ buffers/cache:

189630847527252

# free计算可用内存，算入了共享内存，得到47GSwap: 2104472 0 2104472

# ipcs -m -u

------ Shared Memory Status --------

segments allocated 20

pages allocated 4980737pages

resident 2883591 #共享内存有2883591

* 4 = 11534364 kB ~=

11Gpages swapped 0

Swap performance: 0 attempts 0 successes

# afree

Total: 49423560 kB #物理内存总计Free: 35816908 kB #未被使用的内存Reclaimable: 179348 kB #被使用了但是可以自动回收的内存Available:

35996256 kB #afree统计出来的可用内存去除了11G的共享内存。2.修正可用内存少计算的情况(SUSE10)如下环境，在进行了大量文件访问操作后，系统中缓存了大概600M的inode和dentry。#

free

total used free shared buffers cached

Mem: 3987316 1080908 2906408 0 163056

163848 -/+ buffers/cache:

7540043233312

#没有统计slab中的可以回收的inode和dentry。Swap: 2104472 0 2104472

# afree

Total: 3987316 kB

Free: 2906384 kB

Reclaimable: 958888 kB

Available:3865272

kB #afree统计了slab中的可以回收的inode和dentry。# echo 3

>/proc/sys/vm/drop_caches

#释放600M的inode和dentry缓存。# free

total used free shared buffers cached

Mem: 3987316 93628 3893688 0 17780 8948

-/+ buffers/cache:

669003920416

#执行drop_caches后，增加了600M，说明cached少统计了可回收的slab缓存。这600M即使不执行drop_caches也都是可用的，系统在需要的时候会自动回收。注：afree通过解析slabinfo文件统计可回收的slab，其实suse10的内核有一个全局变量slab_reclaim_pages维护了准确的可回收数量，但没有暴露给给用户空间，因此更准确的方法其实就是写一个模块，把这个变量导出到来。

afree代码如下：

#!/bin/sh

#

#Get accurate available

memory.

#

function get_meminfo()

{

grep

-w $1 /proc/meminfo | awk

-F'' '{print

$2}'

}

function show_meminfo()

{

printf "%s\td kB\n" "$1" "$2"

}

PAGE_SIZE=4 #kB, for

x86

function get_shmem_from_ipcs()

{

local _shm=0

_shm=$(ipcs -m

-u|grep'pages

resident'|awk -F'''{print

$3}')

echo$((_shm *

PAGE_SIZE))

}

function get_tmpfs_from_df()

{

local _size=""

_size=$(df

-k|awk -F'''BEGIN{total=0} {if

($1 == "tmpfs" || $1 == "devtmpfs" || $1 ==

"shm")total+=$3}END{print total}')

echo$_size

}

#inode, dentry and buffer_head is

reclaimable

function get_slab_reclaimable_from_slabinfo()

{

local _size=""

_size=$(awk

-F'''BEGIN{total=0} {if

($1~/inode/ || $1~"dentry" || $1 == "buffer_head")total+=($3 *

$4)}END{printf "%d\n", total / 1024}'/proc/slabinfo)

[ -z "$_size" ] && _size=0

echo$_size

}

free=$(get_meminfo

MemFree)

total=$(get_meminfo

MemTotal) cached=$(get_meminfo

Cached)

buffer=$(get_meminfo

Buffers)

swapcached=$(get_meminfo

SwapCached)

shmem=$(get_meminfo

Shmem)

slab_reclaimable=$(get_meminfo

SReclaimable)

nfs_unstable=$(get_meminfo

NFS_Unstable)

#the kernel does not support, no 'Shmem'

field in /proc/meminfo, we use ipc and df.

if[ -z "$shmem" ] ; then

shmem=$(($(get_shmem_from_ipcs)+$(get_tmpfs_from_df)))

fi

#the kernel does not support, no

'SReclaimable' field in /proc/meminfo, we use

/proc/slabinfo.

if[ -z "$slab_reclaimable" ]; then

slab_reclaimable=$(get_slab_reclaimable_from_slabinfo)

fi

#the kernel does not support, no

'NFS_Unstable' field in /proc/meminfo, we use null.

:)

if[ -z "$nfs_unstable" ]; then nfs_unstable=0

fi

reclaimable=$((cached + buffer +

slab_reclaimable + swapcached + nfs_unstable -

shmem))

available=$((free +

reclaimable))

show_meminfo "Total:" "$total"

show_meminfo "Free:" "$free"

show_meminfo "Reclaimable:" "$reclaimable"

show_meminfo "Available:" "$available"