linux 平均负载与CPU 详解

bearboy80

已于 2022-10-09 23:21:21 修改

阅读量1.7k

点赞数 1

文章标签： linux 测试工具运维

于 2022-10-09 15:44:07 首次发布

本文链接：https://blog.csdn.net/guiyiba/article/details/127227951

版权

平均负载

定义
单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和CPU使用率并没有直接关系。
- 可运行状态：正在使用CPU或者正在等待CPU的进程，也就是我们常用ps命令看到的，处于R状态（runing或runnable）的进程
- 不可中断状态：正处于内核态关键流程中的进程，并且这些流程是不可打断的，比如我们最常见的是等待硬件设备的I/O响应，也是我们在ps命令中看到的D状态（Uninterruptible Sleep)的进程
平均负载为多少合理
理想的情况是等于CPU个数，所以在评判平均负载时，需要知道系统的CPU个数，可以通过top命令或者/pro/cpuinfo来看。
一般来说如果负载超过CPU个数的70%，就要关注。
平均负载与CPU使用率的区别
CPU使用率是单位时间内CPU繁忙情况的统计，跟平均负载并不一定完全对应，比如：
- CPU密集进程，使用大量CPU会导致负载升高，这个两者是一致的
- I/O密集型进程，等待I/O会导致平均负载升高，但是CPU使用率不一定很高
- 大量等待CPU的进程调度也会导致平均负载升高，此时的CPU使用率也会比较高
案例测试
- 系统及工具准备
  - 系统环境
    cent os 7 1CPU 2G 内存
  - stress
    stress 是一个linux 系统压力测试工具
  - sysstat
    sysstat 包含常用的liunx性能工具，用来监控和分析系统的性能，我们用用到mpstat和pidstat。
    - mpstat 是一个常用的多核CPU性能分析工具，用来实时查看每个CPU的性能指标及所有CPU的平均指标。
    - pidstat 是一个常用的进程性能分析工具，用来实时查看CPU、内存、I/O 及以上下文切换等性能指标。
- 场景
  - 场景1 CPU密集型进程
    stress --cpu 1 --timeout 600
  - 场景2 I/O密集型进程
    stress -i 1 --timeout 600
  - 场景3 大量进程
    stress -c 8 --timeout 600

CPU上下文切换

CPU上线文
CPU 寄存器，是 CPU 内置的容量小、但速度极快的内存。而程序计数器，则是用来存储 CPU 正在执行的指令位置、或者即将执行的下一条指令位置。它们都是 CPU 在运行任何任务前，必须的依赖环境，因此也被叫做 CPU 上下文。
CPU 上下文切换
CPU 上下文切换，就是先把前一个任务的 CPU 上下文（也就是 CPU 寄存器和程序计数器）保存起来，然后加载新任务的上下文到这些寄存器和程序计数器，最后再跳转到程序计数器所指的新位置，运行新任务。
而这些保存下来的上下文，会存储在系统内核中，并在任务重新调度执行时再次加载进来。这样就能保证任务原来的状态不受影响，让任务看起来还是连续运行。
CPU 的上下文切换就可以分为几个不同的场景，也就是进程上下文切换、线程上下文切换以及中断上下文切换。
- 进程上下文切换
  Linux 按照特权等级，把进程的运行空间分为内核空间和用户空间，分别对应着下图中， CPU 特权等级的 Ring 0 和 Ring 3
  内核空间（Ring 0）具有最高权限，可以直接访问所有资源；用户空间（Ring 3）只能访问受限资源，不能直接访问内存等硬件设备，必须通过系统调用陷入到内核中，才能访问这些特权资源。
换个角度看，也就是说，进程既可以在用户空间运行，又可以在内核空间中运行。进程在用户空间运行时，被称为进程的用户态，而陷入内核空间的时候，被称为进程的内核态。
从用户态到内核态的转变，需要通过系统调用来完成。比如，当我们查看文件内容时，就需要多次系统调用来完成：首先调用 open() 打开文件，然后调用 read() 读取文件内容，并调用 write() 将内容写到标准输出，最后再调用 close() 关闭文件。
一次系统调用的过程，其实是发生了两次 CPU 上下文切换。(用户态->内核态->用户态)。系统调用过程中，并不会涉及到虚拟内存等进程用户态的资源，也不会切换进程。系统调用过程通常称为特权模式切换，而不是上下文切换，但是避免不了CPU上下文切换。
进程上下文切换，是指从一个进程切换到另一个进程运行。而系统调用过程中一直是同一个进程在运行。
进程是由内核来管理和调度的，进程的切换只能发生在内核态。所以，进程的上下文不仅包括了虚拟内存、栈、全局变量等用户空间的资源，还包括了内核堆栈、寄存器等内核空间的状态。
因此，进程的上下文切换就比系统调用时多了一步：在保存当前进程的内核状态和 CPU 寄存器之前，需要先把该进程的虚拟内存、栈等保存下来；而加载了下一进程的内核态后，还需要刷新进程的虚拟内存和用户栈。

Linux 通过 TLB（Translation Lookaside Buffer）来管理虚拟内存到物理内存的映射关系。当虚拟内存更新后，TLB 也需要刷新，内存的访问也会随之变慢。特别是在多处理器系统上，缓存是被多个处理器共享的，刷新缓存不仅会影响当前处理器的进程，还会影响共享缓存的其他处理器的进程。
只有在进程调度的时候，才需要切换上下文。Linux 为每个 CPU 都维护了一个就绪队列，将活跃进程（即正在运行和正在等待 CPU 的进程）按照优先级和等待 CPU 的时间排序，然后选择最需要 CPU 的进程，也就是优先级最高和等待 CPU 时间最长的进程来运行。
进程在什么时候才会被调度到 CPU 上运行:
- 为了保证所有进程可以得到公平调度，CPU 时间被划分为一段段的时间片，这些时间片再被轮流分配给各个进程。这样，当某个进程的时间片耗尽了，就会被系统挂起，切换到其它正在等待 CPU 的进程运行
- 进程在系统资源不足（比如内存不足）时，要等到资源满足后才可以运行，这个时候进程也会被挂起，并由系统调度其他进程运行
- 当进程通过睡眠函数 sleep 这样的方法将自己主动挂起时，自然也会重新调度
- 当有优先级更高的进程运行时，为了保证高优先级进程的运行，当前进程会被挂起，由高优先级进程来运行
- 发生硬件中断时，CPU 上的进程会被中断挂起，转而执行内核中的中断服务程序。
- 线程上下文切换
  线程与进程最大的区别在于，线程是调度的基本单位，而进程则是资源拥有的基本单位。说白了，所谓内核中的任务调度，实际上的调度对象是线程；而进程只是给线程提供了虚拟内存、全局变量等资源。所以，对于线程和进程，我们可以这么理解：
  - 当进程只有一个线程时，可以认为进程就等于线程。当进程拥有多个线程时，这些线程会共享相同的虚拟内存和全局变量等资源。
  - 这些资源在上下文切换时是不需要修改的。
  - 另外，线程也有自己的私有数据，比如栈和寄存器等，这些在上下文切换时也是需要保存的。
    线程上线文切换两种情况:
    - 前后两个线程属于不同进程。此时，因为资源不共享，所以切换过程就跟进程上下文切换是一样。
    - 前后两个线程属于同一个进程。此时，因为虚拟内存是共享的，所以在切换时，虚拟内存这些资源就保持不动，只需要切换线程的私有数据、寄存器等不共享的数据。
- 中断上下文切换
  为了快速响应硬件的事件，中断处理会打断进程的正常调度和执行，转而调用中断处理程序，响应设备事件。而在打断其他进程时，就需要将进程当前的状态保存下来，这样在中断结束后，进程仍然可以从原来的状态恢复运行。
  跟进程上下文不同，中断上下文切换并不涉及到进程的用户态。所以，即便中断过程打断了一个正处在用户态的进程，也不需要保存和恢复这个进程的虚拟内存、全局变量等用户态资源。中断上下文，其实只包括内核态中断服务程序执行所必需的状态，包括 CPU 寄存器、内核堆栈、硬件中断参数等。
  对同一个 CPU 来说，中断处理比进程拥有更高的优先级，所以中断上下文切换并不会与进程上下文切换同时发生。同样道理，由于中断会打断正常进程的调度和执行，所以大部分中断处理程序都短小精悍，以便尽可能快的执行结束。另外，跟进程上下文切换一样，中断上下文切换也需要消耗 CPU，切换次数过多也会耗费大量的 CPU，甚至严重降低系统的整体性能。