2.6-内存性能-快速定位系统内存问题

目录

六、快速定位系统内存问题

6.1 内存性能指标

6.1.1 系统内存使用情况

6.1.2 进程内存的使用情况

6.1.3 Swap 的使用情况

6.2 内存性能工具

6.2.1 系统/进程内存 —— free、top/ps

6.2.2 缓存、缓存区 —— proc/vmstat/cachestat/cachetop

6.2.3 内存泄露 —— vmstat/memleak

6.2.4 Swap —— sar/cachetop/proc

6.3 性能指标与工具间的联系

6.3.1 内存指标 ——> 性能工具

6.3.2 性能工具 ——> 内存指标

6.4 快速分析内存的性能瓶颈

6.4.1 具体分析思路

6.4.2 案例分析

6.5 内存调优

---

六、快速定位系统内存问题

背景：

有没有快速定位内存问题的方法？

当定位出内存的瓶颈后，又有哪些优化内存的思路？

6.1 内存性能指标

6.1.1 系统内存使用情况

1. 已用内存和剩余内存
   1. 已经使用和还未使用的内存
2. 共享内存
   1. 通过 tmpfs 实现，他的大小也就是 tmpfs 使用的内存大小
   2. tmpfs 也是一种特殊的缓存
3. 可用内存
   1. 新进程可以使用的最大内存
      1. 剩余内存
      2. 可回收缓存
4. 缓存
   1. 磁盘读取文件的页缓存
      1. 用来缓存从磁盘读取的数据，可以加快以后再次访问的速度
   2. Slab 分配器中的课回收内存
5. 缓存区
   1. 对原始磁盘块的临时存储，用来缓存将要写入磁盘的数据。这样，内核就可以把分散的写集中起来，统一优化磁盘写入。

6.1.2 进程内存的使用情况

1. 进程的虚拟内存
   1. 进程代码段
   2. 数据段
   3. 共享内存
   4. 已经申请的堆内存（即是还没分配物理内存）
   5. 已经换出的内存
2. 进程的常驻内存
   1. 进程实际使用的物理内存
   2. 不包括 Swap 和共享内存
   3. 一般会换算成站系统总内存的百分比，也就是进程的内存使用率
3. 进程的共享内存
   1. 与其他进程共同使用的真实的共享内存
   2. 加载的动态链接库以及程序的代码段
4. Swap 内存
   1. 通过 Swap 换出到磁盘的内存
5. 缺页异常
   1. 可以直接从屋里内存中分配 —— 次缺页异常
   2. 需要磁盘 I/O 介入（比如 Swap） —— 主缺页异常
      1. 主缺页异常升高，意味着需要磁盘 I/O ，那么内存访问也会慢很多

6.1.3 Swap 的使用情况

1. Swap 的已用空间和剩余空间
   1. 已经使用和没有使用的内存空间
2. 换出换入速度
   1. 每秒钟换出和换入内存的大小

6.2 内存性能工具

6.2.1 系统/进程内存 —— free、top/ps

free —— 查看系统的整体内存和 Swap 使用情况

top/ps —— 查看进程的内存使用情况

6.2.2 缓存、缓存区 —— proc/vmstat/cachestat/cachetop

proc 文件系统 —— 找到内存指标来源

vmstat —— 动态观察内存变化情况、区分缓存和缓存区、Swap 换入和换出的内存大小

cachestat —— 查看系统缓存的读写命中情况

cachetop —— 观察每个进程缓存的读写命中情况

6.2.3 内存泄露 —— vmstat/memleak

vmstat —— 观察内存变化情况

memleak —— 根据内存分配栈，找出内存泄漏的原因

6.2.4 Swap —— sar/cachetop/proc

sar —— 发现缓冲区和 Swap 升高问题

cachetop —— 缓冲区升高的原因

6.3 性能指标与工具间的联系

6.3.1 内存指标 ——> 性能工具

6.3.2 性能工具 ——> 内存指标

6.4 快速分析内存的性能瓶颈

关键词，找关联

6.4.1 具体分析思路

1. free和top
   1. 查看系统整体的内存使用情况
2. vmstat和pidstat
   1. 查看一段时间的趋势，判断出内存问题的类型
3. 详细分析

• 内存分配分析
  • 具体进程的内存使用分析
  • 缓存/缓冲区分析

 

6.4.2 案例分析

1. free 发现大部分内存都被缓存占用
   1. 可以使用 vmstat 或 sar 观察一下缓存的变化趋势，确认缓存的使用是否还在继续增大
   2. 如果继续增大，说明导致缓存升高的进程还在运行，使用缓存/缓冲区分析工具（cachetop、slabtop），分析这些缓存到底被哪里占用
2. free 发现系统可用内存不足
   1. 确认内存是否被缓存/缓冲区占用
   2. 排除缓存/缓冲区后，可以继续使用 pidstat/top，定位占用内存最多的进程
   3. 找出进程后，通过进程内存空间工具——pmap，分析是否存在内存泄露问题
3. vmstat/sar 发现内存在不断增长，分析是否存在内存泄露
   1. 内存分配分析工具——memleak，检查是否存在内存泄漏
   2. 如果存在，memleak会输出内存泄漏的进程以及调用堆栈

6.5 内存调优

核心：保证应用程序的热点数据放在内存中，并尽量减少换页和交换

优化思路如下：

1. 最好禁止Swap
   1. 如若要开启，将低 swappiness 的值，减少内存回收时 Swap 的使用倾向
2. 减少内存的动态分配
   1. 使用内存池
   2. 大页
3. 尽量使用缓存和缓冲区来访问数据
   1. 使用堆栈明确声明内存空间，来存储需要缓存的数据
   2. 使用 Redis 这类外部缓存组件，优化数据访问
4. 使用 cgroups 等方式限制进城的内存使用情况，确保系统内存不会被异常进程消耗尽
5. 通过/proc/pid/oom_adj，调整核心应用的 oom_score，保证及时内存紧张，核心应用也不会被 oom 杀死