在系统层面最基础最重要的三个指标是CPU、IO、memory，本篇主要汇总定位分析内存使用的常见思路。在进行下一步之前，需要先对top、free 、/proc/meminfo、slabtop、nmon等工具要有一个概念和认识。如果可能的话，最好还需要先了解下/proc/$pid下的smaps和status文件。以下为定位内存被谁占用的常见思路。
一、free和top
free命令是linux的一个入门级命令，显示的是一个比较总述性的信息，如下：
[root@361way ~]# free -m
total used free shared buffers cached
Mem: 995 874 121 0 105 249
-/+ buffers/cache: 518 477
Swap: 0 0 0
比如上面的输出中，我们大致可以看到我总内存为1G(995，其中hardward和firmware在启动时会预先占用一点)。其中已使用874M ，其中可用121M，buffers和cached加用的量为105M + 249M ，这里需要注意的是平时我们在查看时，一般会以第二行的结果为准，即实际可用477M，已用518M。为什么这样说？因为buffers和cached是为了加快运算速度，会预占用一部分内存，可以理解为缓存的概念。由于这部分不是本篇的重点，想深究的可以找谷歌。这部分内存可以通过如下的命令进行回收：
To free pagecache:
echo 1 > /proc/sys/vm/drop_caches
To free dentries and inodes:
echo 2 > /proc/sys/vm/drop_caches
To free pagecache, dentries and inodes:
echo 3 > /proc/sys/vm/drop_caches
在有业务运行的情况下，强烈不建议这样操作，因为可能会造成数据丢失。
即然内存被使用，到底被谁占去了呢？可以借助强大的top查看。
如上图所示，在top下我们输入大M就可以按内存使用率排序。上面可以看到我内存主要被hhvm进程占用掉了，占比总内存的34.3% 。可以看到，实际上top上面也有free的功能，对memory会有概述性报告的。其中RES是我们要关注的项，即实际该进程占用的内存量，基本上这样我们就定位到内存用到那去了。现网中经常还需要一种情况，top看到的所有进程的RES使用都不大，而内存一下子少了几十G，这个怎么破呢？看下面。
二、nmon 、/proc/meminfo 与slabtop
1、/proc/meminfo
meminfo文件显示出的也是内存的概述性信息，只不过其比free -m的结果要更详细，如下：
[root@361way ~]# cat /proc/meminfo
MemTotal: 1019644 kB 所有可用RAM大小 (即物理内存减去一些预留位和内核的二进
制代码大小)
MemFree: 119464 kB LowFree与HighFree的总和，被系统留着未使用的内存
Buffers: 110680 kB 用来给文件做缓冲大小
Cached: 256796 kB 被高速缓冲存储器(cache memory)用的内存的大小(等于
diskcache + SwapCache )
SwapCached: 0 kB
Active: 680560 kB 在活跃使用中的缓冲或高速缓冲存储器页面文件的大小，除非
非常必要否则不会被移作他用
Inactive: 145228 kB 在不经常使用中的缓冲或高速缓冲存储器页面文件的大小，可
能被用于其他途径
Active(anon): 458208 kB
Inactive(anon): 280 kB
Active(file): 222352 kB
Inactive(file): 144948 kB
Unevictable: 0 kB
Mlocked: 0 kB
SwapTotal: 0 kB
SwapFree: 0 kB
Dirty: 92 kB 等待被写回到磁盘的内存大小
Writeback: 0 kB 正在被写回到磁盘的内存大小
AnonPages: 458328 kB 未映射页的内存大小
Mapped: 27072 kB 设备和文件等映射的大小
Shmem: 176 kB
Slab: 53564 kB 内核数据结构缓存的大小，可以减少申请和释放内存带来的消耗
SReclaimable: 32404 kB 可收回Slab的大小
SUnreclaim: 21160 kB 不可收回Slab的大小(SUnreclaim+SReclaimable＝Slab)
KernelStack: 1136 kB 内核栈大小占用的内存
PageTables: 5856 kB 管理内存分页页面的索引表的大小
NFS_Unstable: 0 kB 不稳定页表的大小
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 509820 kB
Committed_AS: 1483868 kB
VmallocTotal: 34359738367 kB 可以vmalloc虚拟内存大小
VmallocUsed: 7472 kB 已经被使用的虚拟内存大小
VmallocChunk: 34359728764 kB
HardwareCorrupted: 0 kB
AnonHugePages: 198656 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 7168 kB
DirectMap2M: 1044480 kB
可以看到上面的内存具体用途显示的特别详细，有点像饭店或超市的帐单。其中有几个我们经常接触到的有buffer 、cached 、slab、hugepage、vmall 。前两者就不说了，slab后面也会单独提到，hugepage是为了加快IO处理的速度设置的一个调优项，在数据库、虚拟化上经常会调节该部分，也会出现该部分占用较大的情况。vmall 是一个些许专业的概念，具体可以参看百科、csdn上的介绍。该值我们可以在内核启动时vmalloc=xxx来指定。由于这部分显示的要远大于物理内存，平时我们时关注VmallocUsed一项即可。
所以针对上面提到的进程本身占用都不多，而free -m 确发现已用几十G的情况，就可以在这里查看到具体是那一项占的高，很可能是hugepage或slab 。
2、nmon
/proc/meminfo显示的结果非常详细也非常直观，不过我们平时关心的主要就那几个，而且显示如此多，很多一些重要的东西就忽略掉了，这里可以借助IBM出的工具nmon来查看内存分配情况。如下图:
从上面这个输出，也可以看到主要内存还是被active占用的。其次是cached和buffers 。其他几块并没有占用多少内存。
注意：SecureCRT下nmon会有乱码出现，通过将终端类型修改为vt100并重连就OK了。
3、slabtop
内核的模块在分配资源的时候，为了提高效率和资源的利用率，都是透过slab来分配的。slab为结构性缓存占用内存，该项也经常占用很大的内存。不过借助slabtop工具，我们可以很方便的显示内核片缓存信息，该工具可以更直观的显示/proc/slabinfo下的内容。理解意思就行，如下图：
如上图所示，objs是指对象的个数，obj_size为对象的大小，use是使用的百分比，这个百分比是针对后面的cache_size来说的。cache_size是给kmem_cache所有对象分配的总大小。我们可以将slabtop查看到的结果与/proc/slabinfo的结果做一个对比，如下，其中/proc/slabinfo中的第三列与第四列的值为num_objs和objsize。这里通过slabtop取得的cache_size乘百分比得到的结果和/proc/slabinfo 3、4列乘积求和得到的结果基本相同。
[root@361way 01]# slabtop -o|column -t|grep ^[0-9]|awk 'BEGIN{sum=0;}{sum=sum+int($(NF-1)*int($3));}END{print sum/1024/100}'
49.4671
[root@361way 01]# cat /proc/slabinfo |awk 'BEGIN{sum=0;}{sum=sum+$3*$4;}END{print sum/1024/1024}'
51.9877
同样，在对slabtop不乘百分比时求和与/proc/meminfo里slab项得到的值也基本相同：
[root@361way 01]# slabtop -o|column -t|grep ^[0-9]|awk 'BEGIN{sum=0;}{sum=sum+int($(NF-1));}END{print sum/1024}'
54.0898
所以我们也可以通过/proc/slabinfo获取占用内存大于100M的对象集：
# cat /proc/slabinfo |awk '{if($3*$4/1024/1024 > 100){print $1,$3*$4/1024/1024} }'
ext3_inode_cache 282.575
proc_inode_cache 2154.03
dentry_cache 868.075
如上面的结果，可以看到发现proc_inode这个占了2G多。是占比较多的。
三、进程内存及其他
和内存相关的虚拟文件还有如下这些，其中我们比较重点关注的是smaps和status文件，smem工具就是就是根据这些文件进行的统计分析与处理，具体可以参看我的另一篇博文－－－linux用smem分析内存占用情况 。
/proc/$pid/cmdline
/proc/$pid/smaps 详细的内存占用情况
/proc/$pid/status 详细的内存占用情况
/proc/$pid/maps
/proc/$pid/stat
/proc/meminfo
这里我们以hhvm 程序的内存为例，这两个文件的内容如下：
[root@361way 01]# cat /proc/22186/smaps |more //内存使用的分类明细
00400000-02335000 r-xp 00000000 ca:01 1073823 /usr/bin/hhvm
Size: 31956 kB
Rss: 30496 kB
Pss: 30494 kB
Shared_Clean: 4 kB
Shared_Dirty: 0 kB
Private_Clean: 30492 kB
Private_Dirty: 0 kB
Referenced: 8136 kB
Anonymous: 0 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
02534000-025b8000 rwxp 01f34000 ca:01 1073823 /usr/bin/hhvm
Size: 528 kB
Rss: 452 kB
Pss: 450 kB
Shared_Clean: 4 kB
Shared_Dirty: 0 kB
Private_Clean: 364 kB
Private_Dirty: 84 kB
Referenced: 100 kB
Anonymous: 84 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
025b8000-02603000 rwxp 00000000 00:00 0
Size: 300 kB
Rss: 252 kB
Pss: 252 kB
Shared_Clean: 0 kB
Shared_Dirty: 0 kB
Private_Clean: 0 kB
Private_Dirty: 252 kB
Referenced: 164 kB
Anonymous: 252 kB
AnonHugePages: 0 kB
Swap: 0 kB
KernelPageSize: 4 kB
MMUPageSize: 4 kB
029b7000-02c39000 rwxp 01fb7000 ca:01 1073823 /usr/bin/hhvm
Size: 2568 kB
Rss: 8 kB
Pss: 8 kB
[root@361way 01]# cat /proc/22186/status //本进程的内存使用概述
Name: hhvm
State: S (sleeping)
Tgid: 22186
Pid: 22186
PPid: 1
TracerPid: 0
Uid: 500 500 500 500
Gid: 500 500 500 500
Utrace: 0
FDSize: 64
Groups: 500
VmPeak: 1198068 kB
VmSize: 1198064 kB
VmLck: 0 kB
VmHWM: 369216 kB
VmRSS: 318504 kB
VmData: 772992 kB
VmStk: 88 kB
VmExe: 31956 kB
VmLib: 144840 kB
VmPTE: 1688 kB
VmSwap: 0 kB
Threads: 4
SigQ: 2/7789
SigPnd: 0000000000000000
ShdPnd: 0000000000000000
SigBlk: 0000000000000000
SigIgn: 0000000000001000
SigCgt: 0000000182006eed
CapInh: 0000000000000000
CapPrm: 0000000001800400
CapEff: 0000000001800400
CapBnd: ffffffffffffffff
Cpus_allowed: 7fff
Cpus_allowed_list: 0-14
Mems_allowed: 00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000001
Mems_allowed_list: 0
voluntary_ctxt_switches: 492
nonvoluntary_ctxt_switches: 194
常见的内存分析手段和工具基本上就上面这些，如果想和更深一步的了解内存在kernel 中的分配原理，可以参看如下内存管理页面：
87
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
