我们都知道Linux的内存管理是基于虚拟内存来管理的。linux基于进程来分配和使用内存,进程通过一个进程表task_struct管理进程信息,内存部分通过一个mm_struct的结构映射,分为代码段、数据段、BSS段,堆和栈。虚拟内存进行地址映射到实际的物理内存(固定4K的内存页面)。由于文件IO访问较慢,linux提供了缓存和缓冲形式把文件临时放进内存处理,来提高处理效率。
关于文件内存缓存的管理一直是个痛点,本文中虫虫给大家介绍一个方便快捷的文件缓存诊断和管理工具vmtouch。vmtouch是用c语言编写的文件缓存管理工具,适用用于所有类Unix系统。vmtouch是可以免费开源使用的开放软件,基于BSD协议发布。
安装
vmtouch安装很简单,可以通过系统安装包安装:
比如ubuntu:sudo add-apt-repository ppa:pg-radadia/vmtouch
sudo apt-get update
当然更通用的方法是,从源码安装。为了保证使用的是最新的版本,我们从vmtouch的github官方仓(github:/hoytech/vmtouch)clone最新版本源码编译安装:
git clone github:/hoytech/vmtouch.git
cd vmtouch
make
sudo make install
这样安装后执行文件为/usr/local/bin/vmtouch,为了能直接使用,我们给它在/bin增加一个软连接:
ln -s /usr/local/bin/vmtouch /bin/vmtouch
然后就可以直接使用了,界面如下,当前版本为v1.3.1:
主要功能和用途
vmtouch主要功能如下(参考自官方文档):
浏览系统缓存中的文件;
让系统缓存文件或者目录,清理文件的缓存;
固化(锁定)文件到内存(不怕操作系统的清理);
转存虚拟内存的文件,主要用于故障服务器是内存信息迁移;
创建一个"热备用"的文件服务器
加快批处理/计划任务(cron)任务的执行;
更多请使用vmtouch -h及官方的详细技术文档。
功能演示
该部分我们将实例展示vmtouch的主要用途,请先按照安装部分文档安装vmtouch工具,然后随着虫虫一起实例操作。
统计文件或者目录在缓存中的记录
我们以系统认证记录日志文件/var/log/secure为例子为开头,查看该日志在缓存中记录:
cd /var/log
ll -h secure
vmtouch /var/secure
结果如上图,可以大小164K的大小的secure日志文件已经全部被缓存到内存了。
我们再看下/var/log 这个目录
vmtouch /var/log,可见该目录22子目录,109文件,8G大小中在内存中缓存了6M,占用了1626个内存页(一个内存也占用4K,大概6G)。
缓存文件到内存
我们先找一个较大的web访问日志acess.log,先看看他占的缓存:
vmtouch access.log
可见该文件还没有占用任何的缓存。我用下面的方法,可以把一部分内容转入内存,比如最后的10000行:
tail -n 10000 access.log >/dev/null
然后再看这个文件的缓存信息
vmtouch access.log
图上信息显示,现在缓存了3M的内存,占用了808个内存页。
让我们用vmtouch -t 选项就可以将一个文件完全缓存到内存中。vmtouch有-v选项可以显示具体的缓存过程的信息(在终端上看到的动画进度条,按Enter见刷新过程)。
vmtouch -vt access.log
删除内存中文件的缓存
上面一步分我们缓存了access.log,信息如下:
但是我们不想要了,毕竟占了很多内存呢。
清理文件的缓存用vmtouch也非常简单只需使用-e选项,下面我们删除内存中的access.log缓存。
vmtouch -ve access.log
注意清理缓存中,free信息中的内存变化。
固化文件到内存缓存,并以启动守护模式
用-l选项可以固化文件到内存缓存,-d选项实现守护模式。-d需要和-d一起使用。vmtouch -dl /var/www/htdocs/critical/
实例:利用vmtouch添加缓存任务执行
最后我们举例一个实例,用vmtouch添加文件的缓存,来提高任务的执行。
任务:我们统计access.log中,报错404的记录 :
执行命令栈:
time grep 404 access.log|sort|wc –l
注意:为了记录任务执行的时间,我使用了time在命令栈开头,可以自动记录执行的时间。
我们将文件缓存到内存中,然后再执行,同样的语句:
测试用时为1.8秒,比之前的9秒,提高了大概5倍,效果杠杠的!
后记
vmouch作为一款linux下的文件缓存管理的工具,应该是每一个linux人都应该拥有和熟练使用的工具,可以在很多时候帮我们解决棘手的内存问题。更多实例使用大家可以在实践中不断探索扩充,如果有更好的想法和实例请直接回复本文章。