free -h详解与内存swap理解

Data_IT_Farmer

于 2023-10-22 23:41:36 发布

阅读量1.6k

点赞数 2

文章标签： linux free swap 内存运维

一、free -h解析

[root@harbor-host ~]# free -h
              total        used        free      shared  buff/cache   available
Mem:           7.6G        3.8G        447M        368M        2.0G        1.7G
Swap:          8.0G        1.2G        6.8G

total：#服务器内存总大小：7.6G
used：#已经使用了多少内存：3.8G，已用内存总量(used = total-free-buffers-cache,这里没减去shared，我理解是shared是used的其中一部分)
free：#未被任何应用使用的真实空闲内存,也叫未被分配出去的内存，(真正尚未被使用的物理内存数)
shared：#表示多个进程共享的内存总额。
buff/cache： #表示buffers和cache所用总量的总和(buffers为内核缓冲区所用的内存，cache为页缓存和slabs所用的内存容量)，也有人说是表示磁盘缓存的大小。

page cache，即缓存文件内容+slab。slab也分可回收和不可回收部分，可手动回收，但是会在回收缓存这段时间影响主机性能，并且不是有所的slab和page cache都能被回收，正在使用的这些缓存不能被回收，否则系统的性能会很低，
所以最后可能的内存是多少，就得评估能够回收的有多少，就有了下面这个参数available
buffers是用来缓冲文件属性和目录内容的（其实就是inode信息）
cached是用来缓冲文件内容的（其实就是data block数据）
为了提高磁盘存取效率，Linux做了一些精心的设计，除了对dentry进行缓存（用于VFS，加速文件路径名到inode的转换），还采取了两种主要Cache方式：Buffer Cache和Page Cache。
前者针对磁盘块的读写，后者针对文件inode的读写。

这些Cache有效缩短了 I/O系统调用（比如read，write，getdents）的时间。

available：真正剩余的可被程序应用的内存数；是系统的一个估计值，不是谁减比较准确

注意：看一个内存可用多少，看available参数，但是你要理解available的意义，不是简单数字相减；有时候也看free表示没有未被分配出去的内存。

free -h -s 2 -c 3 #2秒执行下free -h命令，执行3次。

二、swap虚拟内存

2.1 总结

当Linux的物理内存快要被耗尽时，系统会把一些进程占用的内存转移到 swap 区，当物理内存被释放一部分时，swap 区的一些内存占用又慢慢回到 mem 区，但是 mem 区却不再是之前的满负荷状态，而是有一部分 free 的内存！

【总结1】

1）当物理内存快被耗尽时，系统并没有崩溃，而是拿 swap 做临时内存，当两者都耗尽，系统 OutofMemory
2）物理内存达到峰值，系统中一些不常用的进程内存占用被提到 swap 区
3）当 Men 区的资源进行释放时，被挪到 swap 的内存并不会全部回来，随着系统或者程序的唤醒才会慢慢回到 men 区
4）swap 是内存不够时，磁盘虚拟出来的内存，磁盘主要是 I/O 级别的操作，并不是系统内核级别的操作，处理速度跟 mem 区不是一个等级

【总结2】

其实swap是可以关闭的（比如swapon，swapoff命令），有些时候为了追求高性能会这么做，通常为了性能设置在10-30之间比较多。
通常使Swap负载保持在30%以下，这样才能保证系统的良好性能，这是一个参考值。

swap可以是磁盘划分的分区，因此有人叫做交换分区；也可以是某个文件，有方法教如何扩展swap空间。
swap可以设置多个的。

Linux系统的内存管理必须使用交换区来建立虚拟内存（是不是必须有时间测），安装好系统后可以把它关闭掉的。
交换分区(Swap)被频繁使用的情况，将被视作物理内存不足而造成的，此时考虑扩展物理内存，或排查什么程序如此占用内存了；或者服务器很久没有重启，过swap占用过大。

2.2 概述

Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。这样，系统总是在物理内存不够时，才进行Swap交换。

计算机用户会经常遇这种现象。例如，在使用Windows系统时，可以同时运行多个程序，当你切换到一个很长时间没有理会的程序时，会听到硬盘“哗哗”直响。这是因为这个程序的内存被那些频繁运行的程序给“偷走”了，放到了Swap区中。因此，一旦此程序被放置到前端，它就会从Swap区取回自己的数据，将其放进内存，然后接着运行。

需要说明一点，并不是所有从物理内存中交换出来的数据都会被放到Swap中(如果这样的话，Swap就会不堪重负)，有相当一部分数据被直接交换到文件系统。例如，有的程序会打开一些文件，对文件进行读写(其实每个程序都至少要打开一个文件，那就是运行程序本身)，当需要将这些程序的内存空间交换出去时，就没有必要将文件部分的数据放到Swap空间中了，而可以直接将其放到文件里去。如果是读文件操作，那么内存数据被直接释放，不需要交换出来，因为下次需要时，可直接从文件系统恢复;如果是写文件，只需要将变化的数据保存到文件中，以便恢复。但是那些用malloc和new函数生成的对象的数据则不同，它们需要Swap空间，因为它们在文件系统中没有相应的“储备”文件，因此被称作“匿名”(Anonymous)内存数据。这类数据还包括堆栈中的一些状态和变量数据等。所以说，Swap空间是“匿名”数据的交换空间。

　　另外，Swap分区的数量对性能也有很大的影响。因为Swap交换的操作是磁盘IO的操作，如果有多个Swap交换区，Swap空间的分配会以轮流的方式操作于所有的Swap，这样会大大均衡IO的负载，加快Swap交换的速度。如果只有一个交换区，所有的交换操作会使交换区变得很忙，使系统大多数时间处于等待状态，效率很低。用性能监视工具就会发现，此时的CPU并不很忙，而系统却慢。这说明，瓶颈在IO上，依靠提高CPU的速度是解决不了问题的。

2.3 物理内存剩余多少的时候，会使用虚拟内存呢？

swappiness参数介绍

        linux下的swap分区触发是由参数控制的，swappiness参数将控制在剩余多少物理内存的时候使用虚拟内存，当然，虚拟内存是在迫不得已的情况就才使用的，否则会大大降低系统性能。
        centos7结果通常是30，30的意思表示在物理内存已经使用了70%的时候（也就是100-30），剩余30%没使用，会开始使用swap虚拟内存。
     （个人记忆：swappiness=30表示物理内存只有最后30%可用了，就开始使用swap）。
[root@localhost ~]# cat /proc/sys/vm/swappiness
30

#如何设置合理的swap交换触发点。

#swappiness的值的大小对如何使用swap分区是有着很大的联系的。
   swappiness=0 的时候表示最大限度使用物理内存，然后才是swap空间。在配置k8s或者其它一些追求高性能的情况，你可能看到关闭swap的分区。
   swappiness＝100 的时候表示积极的使用swap分区，并且把内存上的数据及时的搬运到swap空间里面。
   swappiness 这个值应该低一点，系统的性能就比较好，通常为了性能设置在10-30之间比较多。

方式一：临时
sysctl vm.swappiness=10
这种方式是临时修改，重启后将自动还原。
执行下面的命令，使立即生效：
sysctl -p

方式二（永久）：
编辑文件 /etc/sysctl.conf，在最下面添加：
kernel.shmall = 4294967296
vm.swappiness=10

2.4 如何查看swap是哪些进程暂用

top-->f-->然后选中SWAP= Swapped Size (KiB)-->q 这样可以看到每个进程占用swap大小。

#如果要写自动化去判定，可以有其它命令显示，自己去找https://blog.csdn.net/jiang_chuang/article/details/6540869

2.5 swap满了如何关闭？

#如果swap满了，如何清空泥，大部分人可能想到的是重启机器，其实这里关闭swap，重新打开swap也可以清空的。

swapoff -a #关闭

swapon -a #打开。这个执行原理是重新执行/etc/fstab文件，如果文件里面swap行的内容注释掉了，你是无法开启swap的；--help 也可以看得到-a原理。
从fstab文件可以看出来，其实swap是挂载个分区。

三、查看进程占用内存的命令

3.1 top命令实时显示

top命令是常用的，里面有很多用法，多去用，显示的字段也有很多，多去了解其意思，

再多的命令原理都是一样的，用一个精通了，其它都很简单。

执行top命令后的可进行的操作: 翻页用PgUp，PgDn

P - 以CPU占用率大小的顺序排列进程列表 #常用
M - 以内存占用率大小的顺序排列进程列表 #常用
N - 以 PID 的从大到小的顺序排列
L Locate string 查询某个字符串,在所有页查询，翻页用PgUp，PgDn。 #常用
c小写 - 显示进程的绝对路径的快捷键
e，则是显示进程的单位，E是显示标题的单位。
f — 从当前显示中添加或删除显示的字段，列出所有字段，然后你可以选择哪些需要显示的。
l - 关闭或开启第一部分第一行 top 信息的表示
t - 关闭或开启第一部分第二行 Tasks 和第三行 Cpus 信息的表示
m - 关闭或开启第一部分第四行Mem 和第五行 Swap 信息的表示
n - 设置在进程列表所显示进程的数量，表示当前页面你想显示几行进程
s - 改变画面更新时间周期，默认3s刷新一次 #常用
k - kill某个进程 #常用
h - 显示帮助 #常用
q - 退出 top
z -高亮显示正在运行的进程的快捷键

3.2 ps aux命令

常用的方法，必须掌握

1.按内存升序排列: ps aux --sort=+rss
2.按内存降序排列: ps aux --sort=-rss #可以看到按照内存使用从高到低降序排列 ps aux --sort=-%mem | head #和上面一个意思，mem不能写大写。
3.按cpu升序排列: ps aux --sort=+%cpu
4.按cpu降序排列: ps aux --sort=-%cpu

3.3 ps_mem命令

root@xxx-03:~# yum -y install ps_mem #要安装包才可以使用

[root@harbor-host ~]# man ps_mem
NAME
ps_mem - Memory profiling tool #内存资料收集工具
SYNOPSIS
ps_mem [-h|--help] [-s|--show-cmdline] [-p PID] [-w N]
DESCRIPTION
The ps_mem tool can determine how much RAM is used per program (not per process).
In detail it reports:
sum(private RAM for program processes) + sum(Shared RAM for program processes). #私有进程总和+共享进程总和。这个很有用，可以看这个进程单独占用进程总和

The shared RAM is problematic to calculate, and the tool automatically selects the most accurate method available for the running kernel.
OPTIONS
-h --help
Show this help
-s --show-cmdline
Show complete program path with options
-p <pid>[,pid2,...pidN]
Only show memory usage PIDs in the specified list
-w N Measure and show process memory every N seconds

[root@harbor-host ~]# ps_mem -w 2 -p 1 #2秒执行一次，进程id等于1
^C[root@harbor-host ~]# ps aux|grep mysql
mysql 1688 0.2 5.7 1919308 224808 ? Ssl 2021 960:47 /usr/sbin/mysqld
[root@harbor-host ~]# ps_mem -p 1688 -w 2 #查看mysql占用进程总和，2秒执行一次
Private + Shared = RAM used Program

219.6 MiB + 248.0 KiB = 219.8 MiB mysqld
---------------------------------
219.8 MiB
=================================
219.6 MiB + 248.0 KiB = 219.8 MiB mysqld
---------------------------------
219.8 MiB

3.4 pmap

pmap命令查看详细进程的内存占用情况
pmap - report memory map of a process(查看进程的内存映像信息)pmap命令用于报告进程的内存映射关系，是Linux调试及运维一个很好的工具。
可以根据进程查看进程相关信息占用的内存情况，如下所示： > pmap -d pid

参考：free -h详解与内存swap理解_51CTO博客_free swap