linux内存管理与监控

一、物理内存与虚拟内存

物理内存：物理内存就是系统硬件提供的内存大小，是真正的内存。

虚拟内存：在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）

两者逻辑：

（1）linux中的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。   

（2）Linux系统会不时的进行页面交换操作，以保持尽可能多的空闲物理内存。   

（3）linux进行页面交换是有条件的，不是所有页面在不用时都交换到虚拟内存（linux内核根据最近最经常使用的算法，仅仅将一些不经常使用的内存文件交换到虚拟内存）

（4）交换空间的页面在使用时会首先被交换到物理内存，如果此时没有足够的物理内存来容纳这些页面，它们又会被马上交换出去，如此以来，虚拟内存中可能没有足够空间来存储这些交换页面，最终会导致linux出现假死机、服务异常等问题。

二、内存监控（以Centos 7为例）

free -h 指令下等的界面如下：

（1）以操作系统角度输出：Mem这一行开始看，表示总共1.8G内存，使用了844M，有653M空闲，有29M共享的内存,从内核的角度不用看buffers和cached的大小。（total=used+free）

Swap这一行表示交换空间，换句话说也就是虚拟内存的大小，表示总共有8G，0使用，剩余8G可以使用。

（2）以应用层角度输出： Mem这一行开始看，表示总共1.8G内存，使用了844M，有653M空闲，有29M共享的内存,buff/cache共剩余322M，还有762M可用。

对于应用程序来说，我们重点关注available,因为buffers/cached占有的内存是可用的，因为buffers/cached是为了提高文件读取的性能，当应用程序需要用到内存的时候，buffers/cached会很快地被回收，以供应用程序使用。

三、buffers与cached的异同

相同点：buffers与cached都是内存操作，用来保存系统曾经打开过的文件以及文件属性信息，这样当操作系统需要读取某些文件时，会首先在buffers与cached内存区查找，如果找到，直接读出传送给应用程序；如果没有找到需要数据，才从磁盘读取，这就是操作系统的缓存机制，通过缓存，大大提高了操作系统的性能。

不同点：

（1）buffers与cached缓冲的内容是不同的。

（2）buffers表示块设备(block device)所占用的缓存页（page cache），包括直接读写块设备、以及文件系统元数据(metadata)，如：超级块(SuperBlock)所使用的缓存页，都是放在buffers里面的。

例如：cat /dev/sda1 > /dev/null  读取一个块设备时buffers的值会增加

（3）cached表示普通文件所占用的缓存页（page cache）。cached把读取过的数据保缓存起来，重新读取时若命中（找到需要的数据）就不要去读硬盘了，若没有命中就读硬盘。其中的数据会根据读取频率进行组织，把最频繁读取的内容放在最容易找到的位置，把不经常读取的内容不断往后排，直至从中删除（最近最经常使用的算法）。

例如：打开一个较大的普通文件，第一次打开和第二次打开时间会明显不一样

四、手动释放缓存cache

释放page cache（缓存页）

echo 1 >  /proc/sys/vm/drop_caches  

释放文件节点（inodes）缓存和目录项缓存（dentries），大部分缓存数据都是用的page cache

echo 2 >  /proc/sys/vm/drop_caches

释放page cache、dentries和inodes缓存：        

echo 3 >  /proc/sys/vm/drop_caches

需要注意： 在手动释放内存前，需要使用sync指令，将所有未写的系统缓冲区写到磁盘中，包含已修改的 i-node、已延迟的块 I/O 和读写映射文件。否则在释放缓存的过程中，可能会丢失未保存的文件。

五、 创建swap交换空间

1、说明：创建swap交换空间所需的交换文件是一个普通的文件，但是，创建交换文件与创建普通文件不同，必须通过dd命令来完成，同时这个文件必须位于本地硬盘上，不能在网络文件系统（NFS）上创建swap交换文件。

2、接下来我们创建一个swap交换分区，我们先查看一下当前交换分区的大小；

3、 创建一个swap交换文件

dd if=/dev/zero of=/data/swapfile bs=1M count=1024 # 将/dev下的一个空设备文件zero重定向输出到/data/swapfile下这个真实存在的块文件，读写块大小为1M，有1024个块。

#dd=创建交换文件

#if＝输入文件，或者设备名称

#of＝输出文件或者设备名称

#ibs=bytes 表示一次读入bytes 个字节(即一个块大小为 bytes 个字节)

#obs=bytes 表示一次写bytes 个字节(即一个块大小为 bytes 个字节)

#bs＝bytes，同时设置读写块的大小，以bytes为单位，此参数可代替 ibs 和 obs。 #count=blocks 仅拷贝blocks个块。

 4、指定交换空间设备

mkswap  /data/swapfile  #通过mkswap命令指定作为交换空间的设备或者文件

5、激活swap分区

/data/swapon /data/swapfile  #进入指定的目录，激活这时发现swap交换分区大小变为了9个G

六、swap的优化策略（对swap对应内核参数的调优）

1、swappiness的值的大小对如何使用swap分区是有着很大的联系的。swappiness=0的时候表示最大限度使用物理内存，然后才是 swap空间（redis服务器要做的一个操作）；swappiness＝100的时候表示积极的使用swap分区，并且把内存上的数据及时的搬运到swap空间里面。

2、这里以Centos 7为例，我们通过查看swappiness发现其值为30，也就是说，你的内存在使用到100-30=60%的时候，就开始出现有交换分区的使用。

3、临时调整的方法如下（操作系统重启后就失效了），调成10：

echo 10 >/proc/sys/vm/swappiness  或者   sysctl vm.swappiness=10

4、要想永久调整的话，需要将在/etc/sysctl.conf修改，加上如下命令：

vm.swappiness=10

5、注意：操作系统层面，要尽可能使用物理内存，对该参数进行调整（要尽可能的使用物理内存时，就把swap调小）。