linux性能调优笔记
一、上下文切换的基础知识
1、 上下文切换是什么?
上下文切换是对任务当前运行状态的暂存和恢复。
CPU上下文切换(Context Switch)是指操作系统从执行一个任务(进程或线程)切换到执行另一个任务的过程。在这个过程中,系统需要保存当前任务的状态(如寄存器中的值、程序计数器等),以便将来恢复执行时能恢复到之前的状态,同时装载新任务的上下文信息,使其得以执行。这个过程涉及到存储旧上下文和加载新上下文的操作,是计算密集型的,会消耗CPU时间。
2、 CPU为什么要进行上下文切换?
当多个进程竞争CPU的时候,CPU为了保证每个进程能公平被调度运行,采取了处理任务时间分片的机制,
轮流处理多个进程,由于CPU处理速度非常快,在人类的感官上认为是并行处理,实际是"伪"并行,
同一时间只有一个任务在运行处理。
多任务调度:为了实现多任务并发执行,操作系统需要在不同任务之间分配CPU时间片。
抢占式调度:优先级更高的进程或线程到达,当前运行的任务被强制暂停,以运行更高优先级的任务。
内核态与用户态切换:当程序需要执行内核操作(如I/O操作、系统调用)时,会从用户态切换到内核态;操作完成后,再从内核态返回用户态。
资源竞争与同步:如锁的竞争导致的阻塞,或等待某些条件满足(如信号量、互斥锁)也会引起上下文切换。
3. 上下文切换的影响
性能开销:频繁的上下文切换会消耗CPU资源,增加调度延迟,降低系统整体性能。
缓存失效:每次切换后,新的任务可能访问不同的内存区域,导致CPU缓存命中率下降。
调度开销:保存和恢复上下文信息需要时间,特别是在多核处理器上,还涉及到跨CPU核心的切换。
4、 上下文切换分几种?
进程上下文切换、线程上下文切换、中断上下文切换
5、 什么情况下会触发上下文切换?
系统调用、进程状态转换(运行、就绪、阻塞)、时间片耗尽、系统资源不足、sleep、优先级调度、硬件中断等
6、 线程上下文切换和进程上下文切换的最大区别?
线程是调度的基本单位,进程是资源拥有的基本单位,同属一个进程的线程,发生上下文切换,
只切换线程的私有数据,共享数据不变,因此速度非常快。
7、 有哪些减少上下文切换的技术用例?
数据库连接池(复用连接)、合理设置应用的最大进程,线程数、直接内存访问DMA、零拷贝技术。
8. 监控与优化
监控工具:可以使用vmstat、top、ps、perf等命令或工具来监控系统的上下文切换情况,特别是vmstat中的cs(上下文切换次数)和wt(CPU等待时间)字段,以及perf工具更详细的性能分析能力。
优化策略:
减少不必要的系统调用和中断处理时间。
使用更高效的锁机制,减少锁的竞争。
优化程序设计,减少线程数量,或使用协程等轻量级并发模型减少上下文切换。
考虑CPU亲和性(CPU Affinity),尽量让线程在固定的CPU核心上执行,避免跨核心调度。
二、上下文切换过程详解
一、进程上下文切换
1.进程上下文切换概念
进程的上下文切换是操作系统管理多任务执行的核心机制之一。当操作系统决定从当前执行的进程切换到另一个进程时,它需要进行一系列操作来保存和恢复进程的状态信息,这个过程称为进程上下文切换。
2.进程上下文切换过程
下图是linux的特权等级图,里面的Ring 0是内核态空间 ,具有最高权限,可以直接访问所有的资源。而Ring 3是用户态空间,只能访问受限资源,不能直接访问内存等硬件设备,必须通过系统调用陷入到内核中,才能访问这些特权资源。
所以我们得出进程可以在内核态运行,也可以在用户态中运行。进程在用户空间运行时,被称为进程的用户态,而陷入内核空间的时候,被称为进程的内核态。
3.系统调用
从用户态到内核态的转变,需要通过系统调用来完成。比如,当我们查看文件内容时,就需要多次系统调用来完成:首先调用 open() 打开文件,然后调用 read() 读取文件内容,并调用 write() 将内容写到标准输出,最后再调用 close() 关闭文件。
那么,系统调用的过程有没有发生 CPU 上下文的切换呢?答案自然是肯定的。
CPU 寄存器里原来用户态的指令位置,需要先保存起来。接着,为了执行内核态代码,CPU 寄存器需要更新为内核态指令的新位置。最后才是跳转到内核态运行内核任务。而系统调用结束后,CPU 寄存器需要恢复原来保存的用户态,然后再切换到用户空间,继续运行进程。
所以,一次系统调用的过程,其实是发生了两次 CPU 上下文切换。
4.进程上下文切换跟系统调用的区别
进程是由内核来管理和调度的,进程的切换只能发生在内核态。所以,进程的上下文不仅包括了虚拟内存、栈、全局变量等用户空间的资源,还包括了内核堆栈、寄存器等内核空间的状态。
进程的上下文切换就比系统调用时多了一步:在保存当前进程的内核状态和 CPU 寄存器之前,需要先把该进程的虚拟内存、栈等保存下来;而加载了下一进程的内核态后,还需要刷新进程的虚拟内存和用户栈。
下图是上下文切换的过程。
5.进程上下文切换的场景
其一,为了保证所有进程可以得到公平调度,CPU 时间被划分为一段段的时间片,这些时间片再被轮流分配给各个进程。这样,当某个进程的时间片耗尽了,就会被系统挂起,切换到其它正在等待 CPU 的进程运行。(时间片)
其二,进程在系统资源不足(比如内存不足)时,要等到资源满足后才可以运行,这个时候进程也会被挂起,并由系统调度其他进程运行。(资源不足)
其三,当进程通过睡眠函数 sleep 这样的方法将自己主动挂起时,自然也会重新调度。(sleep函数)
其四,当有优先级更高的进程运行时,为了保证高优先级进程的运行,当前进程会被挂起,由高优先级进程来运行。(高优先级打断低优先级)
最后一个,发生硬件中断时,CPU 上的进程会被中断挂起,转而执行内核中的中断服务程序。(硬件中断为高优先级)
了解这几个场景是非常有必要的,因为一旦出现上下文切换的性能问题,它们就是幕后凶手。
二、线程上下文切换
1.线程与进程的区别
线程是调度的基本单位,而进程则是资源拥有的基本单位。
说白了,所谓内核中的任务调度,实际上的调度对象是线程;而进程只是给线程提供了虚拟内存、全局变量等资源。所以,对于线程和进程,我们可以这么理解:
- 当进程只有一个线程时,可以认为进程就等于线程。
- 当进程拥有多个线程时,这些线程会共享相同的虚拟内存和全局变量等资源。这些资源在上下文切换时是不需要修改的。
- 另外,线程也有自己的私有数据,比如栈和寄存器等,这些在上下文切换时也是需要保存的。
2.线程的上下文切换的两种情况
第一种, 前后两个线程属于不同进程。此时,因为资源不共享,所以切换过程就跟进程上下文切换是一样。
第二种,前后两个线程属于同一个进程。此时,因为虚拟内存是共享的,所以在切换时,虚拟内存这些资源就保持不动,只需要切换线程的私有数据、寄存器等不共享的数据。
到这里你应该也发现了,虽然同为上下文切换,但同进程内的线程切换,要比多进程间的切换消耗更少的资源,而这,也正是多线程代替多进程的一个优势。
三、中断上下文切换
中断上下文切换是操作系统处理硬件中断时发生的一种特殊类型的上下文切换。与进程上下文切换不同,它涉及到的是从当前执行的进程(或中断处理程序)转移到处理特定硬件事件(如磁盘I/O完成、网络数据到达、键盘输入等)的中断服务例程(ISR, Interrupt Service Routine),然后再返回原进程的执行流。
这里我们重点理解进程/线程上下文切换的内容