linux创建内存缓存文件,vmtouch：linux文件缓存管理器-缓存文件

我们都知道Linux的内存管理是基于虚拟内存来管理的。linux基于进程来分配和使用内存，进程通过一个进程表task_struct管理进程信息，内存部分通过一个mm_struct的结构映射，分为代码段、数据段、BSS段，堆和栈。虚拟内存进行地址映射到实际的物理内存(固定4K的内存页面)。由于文件IO访问较慢，linux提供了缓存和缓冲形式把文件临时放进内存处理，来提高处理效率。

关于文件内存缓存的管理一直是个痛点，本文中虫虫给大家介绍一个方便快捷的文件缓存诊断和管理工具vmtouch。vmtouch是用c语言编写的文件缓存管理工具，适用用于所有类Unix系统。vmtouch是可以免费开源使用的开放软件，基于BSD协议发布。

安装

vmtouch安装很简单，可以通过系统安装包安装：

比如ubuntu：sudo add-apt-repository ppa:pg-radadia/vmtouch

sudo apt-get update

当然更通用的方法是，从源码安装。为了保证使用的是最新的版本，我们从vmtouch的github官方仓(github:/hoytech/vmtouch)clone最新版本源码编译安装:

git clone github:/hoytech/vmtouch.git

cd vmtouch

make

sudo make install

这样安装后执行文件为/usr/local/bin/vmtouch，为了能直接使用，我们给它在/bin增加一个软连接:

ln -s /usr/local/bin/vmtouch /bin/vmtouch

然后就可以直接使用了，界面如下,当前版本为v1.3.1：

主要功能和用途

vmtouch主要功能如下(参考自官方文档)：

浏览系统缓存中的文件；

让系统缓存文件或者目录，清理文件的缓存；

固化(锁定)文件到内存(不怕操作系统的清理)；

转存虚拟内存的文件，主要用于故障服务器是内存信息迁移；

创建一个"热备用"的文件服务器

加快批处理/计划任务(cron)任务的执行；

更多请使用vmtouch -h及官方的详细技术文档。

功能演示

该部分我们将实例展示vmtouch的主要用途，请先按照安装部分文档安装vmtouch工具，然后随着虫虫一起实例操作。

统计文件或者目录在缓存中的记录

我们以系统认证记录日志文件/var/log/secure为例子为开头，查看该日志在缓存中记录：

cd /var/log

ll -h secure

vmtouch /var/secure

结果如上图,可以大小164K的大小的secure日志文件已经全部被缓存到内存了。

我们再看下/var/log 这个目录

vmtouch /var/log,可见该目录22子目录，109文件，8G大小中在内存中缓存了6M，占用了1626个内存页(一个内存也占用4K，大概6G)。

缓存文件到内存

我们先找一个较大的web访问日志acess.log，先看看他占的缓存：

vmtouch access.log

可见该文件还没有占用任何的缓存。我用下面的方法，可以把一部分内容转入内存，比如最后的10000行:

tail -n 10000 access.log >/dev/null

然后再看这个文件的缓存信息

vmtouch access.log

图上信息显示，现在缓存了3M的内存，占用了808个内存页。

让我们用vmtouch -t 选项就可以将一个文件完全缓存到内存中。vmtouch有-v选项可以显示具体的缓存过程的信息(在终端上看到的动画进度条，按Enter见刷新过程)。

vmtouch -vt access.log

删除内存中文件的缓存

上面一步分我们缓存了access.log,信息如下：

但是我们不想要了，毕竟占了很多内存呢。

清理文件的缓存用vmtouch也非常简单只需使用-e选项，下面我们删除内存中的access.log缓存。

vmtouch -ve access.log

注意清理缓存中，free信息中的内存变化。

固化文件到内存缓存，并以启动守护模式

用-l选项可以固化文件到内存缓存，-d选项实现守护模式。-d需要和-d一起使用。vmtouch -dl /var/www/htdocs/critical/

实例：利用vmtouch添加缓存任务执行

最后我们举例一个实例，用vmtouch添加文件的缓存，来提高任务的执行。

任务：我们统计access.log中,报错404的记录 ：

执行命令栈：

time grep 404 access.log|sort|wc –l

注意：为了记录任务执行的时间，我使用了time在命令栈开头，可以自动记录执行的时间。

我们将文件缓存到内存中，然后再执行，同样的语句：

测试用时为1.8秒，比之前的9秒，提高了大概5倍，效果杠杠的！

后记

vmouch作为一款linux下的文件缓存管理的工具，应该是每一个linux人都应该拥有和熟练使用的工具，可以在很多时候帮我们解决棘手的内存问题。更多实例使用大家可以在实践中不断探索扩充，如果有更好的想法和实例请直接回复本文章。