linux使用top查看buff/cache过高

文章讨论了Linux系统中内存使用情况,特别是当buffers和cached占用过高时,即使内存使用率不高但可用内存低的问题。这主要是因为Linux的文件读写缓存机制。解决方案是通过调整/proc/sys/vm/drop_caches参数来手动释放缓存,文中提供了一个crontab定时任务示例来监控和清理内存。

查看

top
效果如下:
KiB Mem :  16000000 total,   4000000 free,  4000000 used,   8000000 buff/cache

发现,使用不高,但是可用很低,是因为 buff/cache 占用了很多。

原因

linux存取文件会导致内存被用光,即便是程序结束后也不会被正常释放,这就会导致buffers和cached占用过高。

total:是指计算机总物理内存
used:已用的内存
free:空余的内存
total = used + free总内存
shared:被多个进程共享的内存
buffers:用于存放要输出到disk(块存储)的数据,在这里buff是指被OS buffer住的内存
cached:存放从disk上读出的数据;buffer和cache是为了提高IO性能并由OS管理

解决方法

linux有先进的缓存机制,会针对dentry、Buffer Cache(针对磁盘块的读写)和Page Cache(针对文件inode的读写)进行缓存操作用来提高读写效率。但是在进行了大量文件操作之后,缓存会把内存资源基本用光,虽然文件读取效率提高了,但是物理内存会逐渐被吃光。
服务进行了频繁的文件读写操作,但是为什么操作系统不会主动回收呢,是因为drop_caches的默认参数设置的就是不释放的。

drop_caches的值可以是0-3之间的数字,代表不同的含义:
0:不释放(系统默认值)
1:释放页缓存
2:释放dentries和inodes
3:释放所有缓存

启动定时任务

crontab -e

如下定时任务:

0 3 * * * /usr/bin/sh /app/free_mem.sh

SH 文件

#! /bin/sh
used=`free -m | awk 'NR==2' | awk '{print $3}'`
free=`free -m | awk 'NR==2' | awk '{print $4}'`
echo "===========================" >> /app/logs/mem.log
date >> /app/logs/mem.log
echo "Memory usage before | [Use:${used}MB][Free:${free}MB]" >> /app/logs/mem.log
if [ $free -le 6000 ] ; then
        sync && echo 1 > /proc/sys/vm/drop_caches
        sync && echo 2 > /proc/sys/vm/drop_caches
        sync && echo 3 > /proc/sys/vm/drop_caches
        used_ok=`free -m | awk 'NR==2' | awk '{print $3}'`
        free_ok=`free -m | awk 'NR==2' | awk '{print $4}'`
        echo "Memory usage after | [Use:${used_ok}MB][Free:${free_ok}MB]" >> /app/logs/mem.log
        echo "OK" >> /app/logs/mem.log
else
        echo "Not required" >> /app/logs/mem.log
fi
exit 1
<think>我们被要求查看Linux系统中哪些进程占用了buff/cache。根据引用[2]和引用[4],我们可以使用一个名为`hcache`的工具来查看哪些进程占用了buffer/cache。###步骤说明:1.**安装hcache工具**:首先需要下载并安装`hcache`工具。该工具是`pcstat`的一个增强版本,可以显示每个进程占用的缓存情况。2.**使用hcache查看占用缓存的进程**:安装后,我们可以通过运行`hcache`命令来查看缓存占用情况。###具体操作:####1.下载并安装hcache根据引用[2],我们可以使用以下命令下载并安装:```bashwgethttps://silenceshell-1255345740.cos.ap-shanghai.myqcloud.com/hcachechmod755hcache&&mvhcache/usr/local/bin/```####2.使用hcache查看占用buff/cache的进程安装完成后,可以使用以下命令查看缓存占用情况:```bashsudohcache--top10```这个命令会显示占用缓存最多的前10个进程(包括它们缓存的文件和大小)。**常用选项**:-`--sort-by`:按指定字段排序(如`size`、`pid`等)-`--topN`:显示前N个结果-`--bname`:只显示二进制文件的名字(而不显示完整路径)**示例命令**:```bash#按缓存大小降序排列,显示前20个进程sudohcache--sort-bysize--top20#查看指定进程(如nginx)的缓存占用sudohcache-p$(pgrepnginx)```###替代方案:使用`smem`工具如果没有`hcache`,也可以使用`smem`工具查看内存占用情况(包括USS/PSS/RSS):```bash#安装smemsudoaptinstallsmem#Debian/Ubuntusudoyuminstallsmem#CentOS/RHEL#按PSS排序显示进程内存smem-spss-r```###手动分析(不推荐)如果不想安装额外工具,可以通过以下步骤手动分析(但比较繁琐):1.使用`find`命令查找被缓存的文件:```bashsudofind/proc/*/fd-typel-lname'/*'-execls-l{}\;2>/dev/null```2.结合`lsof`命令查看哪些进程打开了这些文件:```bashlsof-p<pid>```>**注意**:手动分析过程复杂且不直观,强烈建议使用`hcache`工具[^2][^4]。---###缓存回收建议如果确定某些进程占用的缓存不再需要,可以尝试手动释放缓存(根据引用[1]和引用[3]):```bash#释放pagecacheecho1>/proc/sys/vm/drop_caches#释放slab分配器中的对象echo2>/proc/sys/vm/drop_caches#同时释放pagecache和slabecho3>/proc/sys/vm/drop_caches```**注意**:释放缓存是临时性的,新的文件操作会重新占用缓存。生产环境谨慎操作,可能影响性能[^1][^3]。§§相关问题§§1.如何防止Linux系统缓存(buff/cache)占用过?2.除了`hcache`,还有哪些工具可以查看内存缓存占用?3.为什么Linux系统会使用buff/cache?它有什么作用?4.手动释放buff/cache对系统性能有什么影响?</think>### 查看Linux中占用buff/cache的进程 在Linux系统中,buff/cache主要用于磁盘读写缓存和内存管理。要查看具体哪些进程占用了buff/cache,推荐以下方法: #### 1. 使用`hcache`工具(最推荐) ```bash # 安装hcache wget https://silenceshell-1255345740.cos.ap-shanghai.myqcloud.com/hcache chmod 755 hcache && sudo mv hcache /usr/local/bin/ # 查看占用buff/cache最多的前10个进程 sudo hcache --sort-by cache -t 10 ``` **输出示例**: ``` PID NAME SIZE CACHE 1234 java 1.2GB 850MB 5678 nginx 320MB 210MB 9012 mysql 500MB 180MB ... ``` **参数说明**: - `--sort-by cache`:按缓存占用排序 - `-t N`:显示前N个进程[^2] #### 2. 使用`smem`工具(无需安装) ```bash # 安装smem(Debian/Ubuntu) sudo apt install smem # 查看缓存占用 smem -s swap -r -k -c "pid user command swap uss pss rss cache" ``` **关键列**: - `cache`:进程占用的缓存大小 - `rss`:常驻内存集大小 - `pss`:按比例分配的内存大小[^4] #### 3. 使用`pcstat`工具(文件级分析) ```bash # 安装pcstat go get github.com/tobert/pcstat # 查看特定进程的缓存文件 pcstat -pid $(pgrep nginx) ``` #### 4. 手动分析(基础方法) ```bash # 1. 找到缓存占用大的内存页 grep -r ^ /proc/*/smaps 2>/dev/null | awk '/^\/proc/{match($0,"[0-9]+",a);pid=a[0]}/Size:/{size+=$2}/Shared_Clean:/{clean+=$2}END{print pid,size" kB",clean" kB"}' | sort -k3 -nr # 2. 根据PID查进程名 ps -p <PID> -o comm= ``` ### 缓存管理建议 如果发现特定进程占用过多缓存: ```bash # 释放缓存(生产环境慎用) echo 3 | sudo tee /proc/sys/vm/drop_caches ``` **注意**: 1. 缓存是Linux性能优化机制,无需频繁清理 2. 优先分析异常进程而非直接清缓存 3. 数据库服务(如MySQL)会主动使用缓存提升性能[^3][^4] --- ### 关键原理说明 - **buff**:块设备缓冲,用于磁盘读写加速 - **cache**:文件系统缓存,存储频繁访问的文件 - 两者都可通过`drop_caches`释放: ```bash echo 1 > /proc/sys/vm/drop_caches # 释放pagecache echo 2 > /proc/sys/vm/drop_caches # 释放slab缓存 echo 3 > /proc/sys/vm/drop_caches # 同时释放两者[^1][^3] ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值