《Linux性能优化实战》笔记（十二）—— 为什么系统的Swap变高了

一、 Swap 原理

1. swap简介

Swap就是把一块磁盘空间或者一个本地文件（以下讲解以磁盘为例），当成内存来使用。它包括换出和换入两个过程。

• 换出，就是把进程暂时不用的内存数据存储到磁盘中，并释放这些数据占用的内存。
• 换入，则是在进程再次访问这些内存的时候，把它们从磁盘读到内存中来。

所以，Swap 其实是把系统的可用内存变大了。这样，即使服务器的内存不足，也可以运行大内存的应用程序。

2. swap与内存阈值

既然 Swap 是为了回收内存，那么 Linux 到底在什么时候需要回收内存呢？前面一直在说内存资源紧张，又该怎么来衡量内存是不是紧张呢？

一个最容易想到的场景就是，有新的大块内存分配请求，但是剩余内存不足。这时系统就需要回收一部分内存（比如前面提到的缓存），进而尽可能地满足新内存请求。这个过程通常被称为直接内存回收。

除了直接内存回收，还有一个专门的内核线程用来定期回收内存，也就是 kswapd0。为了衡量内存的使用情况，kswapd0 定义了三个内存阈值（watermark，也称为水位），分别是：页最小阈值（pages_min）、页低阈值（pages_low）和页高阈值（pages_high）。剩余内存则使用 pages_free 表示。

这里，我画了一张图表示它们的关系

kswapd0 定期扫描内存的使用情况，一旦剩余内存小于页低阈值，就会触发内存的回收。这个页低阈值，其实可以通过内核选项 /proc/sys/vm/min_free_kbytes 来间接设置。min_free_kbytes 设置了页最小阈值，而另两个是根据由其计算生成的 ：

pages_low = pages_min*5/4
pages_high = pages_min*3/2

min_free_kbytes 对于oracle rac环境其实也是建议设置的，建议值为vm.min_free_kbytes = physical memory in KB *0.4%

 

3. NUMA 与 Swap

很多情况下，你明明发现了 Swap 升高，可是在分析系统的内存使用时，却很可能发现，系统剩余内存还多着呢。为什么剩余内存很多的情况下，也会发生 Swap 呢？

看到上面的标题，你应该已经想到了，这正是处理器的 NUMA （Non-Uniform Memory Access）架构导致的。

在 NUMA 架构下，多个处理器被划分到不同 Node 上，且每个 Node 都拥有自己的本地内存空间。而同一个 Node 内部的内存空间，实际上又可以进一步分为不同的内存域（Zone），比如：直接内存访问区（DMA）、普通内存区（NORMAL）、伪内存区（MOVABLE）等，如下图所示：

既然 NUMA 架构下的每个 Node 都有自己的本地内存空间，那么，在分析内存的使用时，我们也应该针对每个 Node 单独分析。你可以通过 numactl 命令，来查看处理器在 Node 的分布情况，以及每个 Node 的内存使用情况。

这个界面显示，我的系统中只有一个 Node，也就是 Node 0 ，编号为 0 和 1 的两个CPU都位于 Node 0 上。另外，Node 0 的内存大小为 7977 MB，剩余内存为 4416MB。

了解了 NUNA 的架构和 NUMA 内存的查看方法后，你可能就要问了，这跟 Swap 有什么关系呢？

实际上，前面提到的三个内存阈值（页最小阈值、页低阈值和页高阈值），都可以通过内存域在 proc 文件系统中的接口 /proc/zoneinfo 来查看。

cat /proc/zoneinfo

这个输出中有大量指标，我来解释一下比较重要的几个。

• pages 处的 min、low、high，就是上面提到的三个内存阈值，而 free 是剩余内存页数，它跟后面的 nr_free_pages 相同。
• nr_zone_active_anon 和 nr_zone_inactive_anon，分别是活跃和非活跃的匿名页数。
• nr_zone_active_file 和 nr_zone_inactive_file，分别是活跃和非活跃的文件页数。

从这个输出结果可以发现，剩余内存远大于页高阈值，所以此时的 kswapd0 不会回收内存。

当然，某个 Node 内存不足时，系统可以从其他 Node 寻找空闲内存，也可以从本地内存中回收内存。具体选哪种模式，你可以通过 /proc/sys/vm/zone_reclaim_mode 来调整。它支持以下几个选项：

• 默认的 0 ，表示既可以从其他 Node 寻找空闲内存，也可以从本地回收内存。
• 1、2、4 都表示只回收本地内存，2 表示可以回写脏数据回收内存，4 表示可以用 Swap方式回收内存。

到这里，我们就可以理解内存回收的机制了。这些回收的内存既包括了文件页，又包括了匿名页

• 对文件页的回收，当然就是直接回收缓存，或者把脏页写回磁盘后再回收。
• 对匿名页的回收，其实就是通过 Swap 机制，把它们写入磁盘后再释放内存。
   

不过，你可能还有一个问题。既然有两种不同的内存回收机制，那么在实际回收内存时，到底该先回收哪一种呢？

4. swappiness

Linux 提供了一个 /proc/sys/vm/swappiness 选项，用来调整使用 Swap 的积极程度。swappiness 的范围是 0-100，数值越大，越积极使用 Swap，更倾向于回收匿名页；数值越小，更倾向于回收文件页。

虽然 swappiness 的范围是 0-100，不过要注意，这并不是内存的百分比，而是调整 Swap积极程度的权重，即使你把它设置成 0，当 剩余内存不足时，还是会发生 Swap。
 

二、 如何配置开启swap

Linux 本身支持两种类型的 Swap，即 Swap 分区和Swap 文件。

以 Swap 文件为例，在第一个终端中运行下面的命令开启 Swap，我这里配置Swap 文件的大小为 8GB：

# 创建Swap文件
$ fallocate -l 8G /mnt/swapfile
# 修改权限只有根用户可以访问
$ chmod 600 /mnt/swapfile
# 配置Swap文件
$ mkswap /mnt/swapfile
# 开启Swap
$ swapon /mnt/swapfile

再执行 free 命令，确认 Swap 配置成功：

 

三、 swap飙高分析及处理

在第一个终端中，运行下面的 dd 命令，模拟大文件的读取：

# 写入空设备，实际上只有磁盘的读请求
$ dd if=/dev/sda1 of=/dev/null bs=1G count=2048

第二个终端中运行 sar 命令，查看内存各个指标的变化情况。

# 间隔1秒输出一组数据
# -r表示显示内存使用情况，-S表示显示Swap使用情况
$ sar -r -S 1

# 间隔1秒输出一组数据
# -r表示显示内存使用情况，-S表示显示Swap使用情况
$ sar -r -S 1
04:39:56    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
04:39:57      6249676   6839824   1919632     23.50    740512     67316   1691736     10.22    815156    841868         4

04:39:56    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
04:39:57      8388604         0      0.00         0      0.00

04:39:57    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
04:39:58      6184472   6807064   1984836     24.30    772768     67380   1691736     10.22    847932    874224        20

04:39:57    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
04:39:58      8388604         0      0.00         0      0.00
…
04:44:06    kbmemfree   kbavail kbmemused  %memused kbbuffers  kbcached  kbcommit   %commit  kbactive   kbinact   kbdirty
04:44:07       152780   6525716   8016528     98.13   6530440     51316   1691736     10.22    867124   6869332         0

04:44:06    kbswpfree kbswpused  %swpused  kbswpcad   %swpcad
04:44:07      8384508      4096      0.05        52      1.27

sar 的输出结果是两个表格，第一个表示内存使用情况，第二个表示 Swap 使用情况。各个指标名称前面的 kb 前缀，表示这些指标的单位是KB。去掉前缀后，你会发现大部分指标都已经见过了，剩下的几个新出现的简单介绍一下：

• kbcommit，表示当前系统负载需要的内存。它实际上是为了保证系统内存不溢出，对需要内存的估计值。
• %commit，kbcommit 值相对总内存的百分比。
• kbactive，表示活跃内存，也就是最近使用过的内存，一般不会被系统回收。
• kbinact，表示非活跃内存，也就是不常访问的内存，有可能会被系统回收

可以看到，总的内存使用率（%memused）在不断增长，从开始的 23% 一直长到了 98%，并且主要内存都被缓冲区（kbbuffers）占用。具体来说：

• 刚开始，剩余内存（kbmemfree）不断减少，而缓冲区（kbbuffers）则不断增大，剩余内存不断分配给了缓冲区。
• 一段时间后，剩余内存已经很小，而缓冲区占用了大部分内存。这时候，Swap 的使用开始逐渐增大，缓冲区和剩余内存则只在小范围内波动。

为什么缓冲区在不停增大？这又是哪些进程导致的呢？运行cachetop 命令，观察缓存的使用情况：

通过 cachetop 的输出，我们看到，dd 进程的读写请求只有 50% 的命中率，并且未命中的缓存页数（MISSES）为 41022（单位是页）。这说明，正是案例开始时运行的 dd，导致了缓冲区使用升高。

为什么 Swap 也跟着升高了呢？直观来说，缓冲区占了系统绝大部分内存，还属于可回收内存，内存不够用时，不应该先回收缓冲区吗？这种情况，我们还得进一步通过 /proc/zoneinfo ，观察剩余内存、内存阈值以及匿名页和文件页的活跃情况。

# -d 表示高亮变化的字段
# -A 表示仅显示Normal行以及之后的15行输出
$ watch -d grep -A 15 'Normal' /proc/zoneinfo

可以发现，剩余内存（pages free）在一个小范围内不停地波动。当它小于页低阈值（low) 时，又会突然增大到一个大于页高阈值（high）的值。再结合刚刚用 sar 看到的剩余内存和缓冲区的变化情况，可以推导出，剩余内存和缓冲区的波动变化，正是由于内存回收和缓存再次分配的循环往复。

当剩余内存小于页低阈值时，系统会回收一些缓存和匿名内存，使剩余内存增大。其中，缓存的回收导致 sar 中的缓冲区减小，而匿名内存的回收导致了 Swap 的使用增大。紧接着，由于 dd 还在继续，剩余内存又会重新分配给缓存，导致剩余内存减少，缓冲区增大。

其实还有一个有趣的现象，如果多次运行 dd 和 sar，你可能会发现，在多次的循环重复中，有时候是 Swap 用得比较多，有时候 Swap 很少，反而缓冲区的波动更大。换句话说，系统回收内存时，有时候会回收更多的文件页，有时候又回收了更多的匿名页。显然，系统回收不同类型内存的倾向，似乎不那么明显。

你应该想到了前面提到的swappiness，正是调整不同类型内存回收的配置选项。

cat /proc/sys/vm/swappiness
60

swappiness 显示的是默认值 60，这是一个相对中和的配置，所以系统会根据实际运行情况，选择合适的回收类型，比如回收不活跃的匿名页，或者不活跃的文件页。

到这里，我们已经找出了 Swap 发生的根源。另一个问题就是，刚才的 Swap 到底影响了哪些应用程序呢？换句话说，Swap 换出的是哪些进程的内存？这里我还是推荐 proc 文件系统，用来查看进程 Swap 换出的虚拟内存大小，它保存在
/proc/pid/status 中的 VmSwap 中。

# 按VmSwap使用量对进程排序，输出进程名称、进程ID以及SWAP用量
$ for file in /proc/*/status ; do awk '/VmSwap|Name|^Pid/{printf $2 " " $3}END{ print ""}' $file; done | sort -k 3 -n -r | head
dockerd 2226 10728 kB
docker-containe 2251 8516 kB
snapd 936 4020 kB
networkd-dispat 911 836 kB
polkitd 1004 44 kB

可以看到，使用 Swap 比较多的是 dockerd 和 docker-containe 进程，所以，当 dockerd 再次访问这些换出到磁盘的内存时，也会比较慢。这也说明了一点，虽然缓存属于可回收内存，但在类似大文件拷贝这类场景下，系统还是会用 Swap 机制来回收匿名内存，而不仅仅是回收占用绝大部分内存的文件页。

最后，如果你在一开始配置了 Swap，不要忘记在案例结束后关闭。

swapoff -a

实际上，关闭 Swap 后再重新打开，也是一种常用的 Swap 空间清理方法：

swapoff -a && swapon -a