一、概述
进程的上下文切换是指在多任务操作系统中,当操作系统决定要切换当前运行的进程时,将当前进程的状态保存起来,并恢复下一个要运行的进程的状态。上下文切换是操作系统实现进程调度和实现多任务的关键机制之一。
操作系统一个非常重要的功能就是进程的管理,通过调度策略选择合适的进程来执行,对于单个 CPU 而言,进程是串行分时执行,这就需要内核支持进程切换,挂起一个正在 CPU 中执行的进程,恢复执行之前挂起的进程。
CPU 和寄存器是所有进程共用的,CPU 在运行任何 task 之前,必须地依赖一些环境,包括 CPU 寄存器和程序计数器,除此之外,进程运行过程中还需要用到虚拟内存。进程在切换过程中,主要的工作就是切换进程空间(虚拟内存)切换 CPU 寄存器和程序计数器。
二、上下文切换的实现
进程切换由两部分组成:
- 切换页全局目录安装一个新的地址空间;
- 切换内核态堆栈及硬件上下文。
Linux 内核中由 context_switch
实现了上述两部分内容。
- 调用
switch_mm
完成用户空间切换; - 调用
switch_to
完成内核栈及寄存器切换。
1、context_switch
下面是上下文切换的内核源码,完整的源码见目录 kernel/sched/core.c
的 context_switch
函数:
static inline struct rq *
context_switch(struct rq *rq, struct task_struct *prev,
struct task_struct *next)
{
struct mm_struct *mm, *oldmm;
prepare_task_switch(rq, prev, next);
mm = next->mm; // 下一个要执行的进程的虚拟内存
oldmm = prev->active_mm; // 将要被切换出去的进程的虚拟内存
arch_start_context_switch(prev);
if (!mm) { // 内核线程的 mm 为 NULL
next->active_mm = oldmm;
atomic_inc(&oldmm->mm_count);
enter_lazy_tlb(oldmm, next);
} else // 用户进程的 mm 不为 NULL
switch_mm(oldmm, mm, next);
if (!prev->mm) {
prev->active_mm = NULL;
rq->prev_mm = oldmm;
}
spin_release(&rq->lock.dep_map, 1, _THIS_IP_);
context_tracking_task_switch(prev, next);
switch_to(prev, next, prev); // 切换寄存器和内核栈
barrier();
return finish_task_switch(prev);
}
执行流程如下:
- 通过进程描述符
next->mm
是否为空判断当前进程是否是内核线程,因为内核线程的内存描述符mm_struct *mm
总是为空。 - 如果是内核线程则借用 prev 进程的
active_mm
,对于用户进程,active_mm == mm
;对于内核线程,mm = NULL
,active_mm = prev->active_mm
。 - 如果
prev->mm
不为空,则说明 prev 是用户进程,调用 mmgrab 增加mm->mm_count
引用计数。 - 对于内核线程,会启动懒惰 TLB 模式。懒惰 TLB 模式是为了减少无用的TLB刷新。
enter_lazy_tlb
与体系结构相关。 - 如果是用户进程则调用
switch_mm
(或switch_mm_irqs_off
) 完成用户地址空间切换,switch_mm
(或switch_mm_irqs_off
) 与体系结构相关。 - 调用
switch_to
完成内核态堆栈及硬件上下文切换,switch_to
与体系结构相关。 switch_to
执行完成后,next 进程获得 CPU 使用权,prev 进程进入睡眠状态。- 调用
finish_task_switch
,如果 prev 是内核线程,则调用 mmdrop 减少内存描述符引用计数。如果引用计数为 0,则释放与页表相关的所有描述符和虚拟内存。
2、switch_mm
对于用户进程需要完成用户空间的切换,switch_mm
函数完成了这个任务。switch_mm
是与体系架构相关的函数。更确切地说,是切换地址转换表(pgd),由于 pgd 包括进程 系统空间(0xc000 0000 ~ 0xffff ffff)和 用户空间(0x0000 0000 ~ 0xbfff ffff)的地址映射,但是由于所有进程的系统空间的地址映射都是相同的。所以实质上就是进行用户空间的切换。
Linux 5.6.4 内核调用 switch_mm_irqs_off
切换用户进程空间,对于没有定义该函数的架构,则调用的是switch_mm
。x86 体系架构定义了 switch_mm_irqs_off
函数,ARM 体系架构没有定义。
#ifndef switch_mm_irqs_off
#define switch_mm_irqs_off switch_mm
#endif
函数定义为:
static inline void switch_mm( struct mm_struct * prev,
struct mm_struct * next,
struct task_struct * tsk)
{
int cpu = smp_processor_id();
if (likely(prev != next)) {
cpu_clear(cpu, prev->cpu_vm_mask);
#ifdef CONFIG_SMP
per_cpu(cpu_tlbstate, cpu).state = TLBSTATE_OK;
per_cpu(cpu_tlbstate, cpu).active_mm = next;
#endif
cpu_set(cpu, next->cpu_vm_mask);
load_cr3(next->pgd); // 将下一个进程页表的 pgd 装载进 CR3 寄存器
if (unlikely(prev->context.ldt != next->context.ldt))
load_LDT_nolock(&next->context, cpu);
}
#ifdef CONFIG_SMP
else {
per_cpu(cpu_tlbstate, cpu).state = TLBSTATE_OK;
BUG_ON(per_cpu(cpu_tlbstate, cpu).active_mm != next);
if (!cpu_test_and_set(cpu, next->cpu_vm_mask)) {
load_cr3(next->pgd); // 将下一个进程页表的 pgd 装载进 CR3 寄存器
load_LDT_nolock(&next->context, cpu);
}
}
#endif
}
这部分核心的代码是 load_cr3
,这个函数加载下一个进程页表 pgd 地址加载进 CR3 寄存器。CR3 是 CPU 的一个寄存器,它存储了当前进程的顶级页表 pgd。
如果 CPU 要使用进程的虚拟内存,内核可以从 CR3 寄存器里面得到 pgd 在物理内存的地址,通过页表就可以得到虚拟内存对应的物理地址,这样就可以得到物理内存的数据。
3、switch_to
对于内核空间及寄存器的切换,switch_to
函数完成了这个任务。
switch_to
调用到 __switch_to
,该宏函数定义在目录 arch/x86/include/asm/switch_to.h
:
#define switch_to(prev, next, last) \
do { \
/* \
* Context-switching clobbers all registers, so we clobber \
* them explicitly, via unused output variables. \
* (EAX and EBP is not listed because EBP is saved/restored \
* explicitly for wchan access and EAX is the return value of \
* __switch_to()) \
*/ \
unsigned long ebx, ecx, edx, esi, edi; \
\
asm volatile("pushfl\n\t" /* save flags */ \
"pushl %%ebp\n\t" /* save EBP */ \
"movl %%esp,%[prev_sp]\n\t" /* save ESP */ \
"movl %[next_sp],%%esp\n\t" /* restore ESP */ \
"movl $1f,%[prev_ip]\n\t" /* save EIP */ \
"pushl %[next_ip]\n\t" /* restore EIP */ \
__switch_canary \
"jmp __switch_to\n" /* regparm call */ \
"1:\t" \
"popl %%ebp\n\t" /* restore EBP */ \
"popfl\n" /* restore flags */ \
\
/* output parameters */ \
: [prev_sp] "=m" (prev->thread.sp), \
[prev_ip] "=m" (prev->thread.ip), \
"=a" (last), \
\
/* clobbered output registers: */ \
"=b" (ebx), "=c" (ecx), "=d" (edx), \
"=S" (esi), "=D" (edi) \
\
__switch_canary_oparam \
\
/* input parameters: */ \
: [next_sp] "m" (next->thread.sp), \
[next_ip] "m" (next->thread.ip), \
\
/* regparm parameters for __switch_to(): */ \
[prev] "a" (prev), \
[next] "d" (next) \
\
__switch_canary_iparam \
\
: /* reloaded segment registers */ \
"memory");
} while (0)
switch_to
宏用于进程切换,给定了前一个进程结构体指针 prev,以及需要切换到的进程结构体指针 next,从 prev 切换到 next。
prev 和 next 是输入参数,分别表示被替换进程和新进程描述符的地址在内存中的位置。而 last 是输出参数,假设内核决定暂停进程 A 而激活进程 B,而后又激活进程 A(则必须暂停另一个进程 C,通常不同于进程 B),则它表示宏把进程 C 的描述符地址写在内存的什么位置(在 A 恢复执行后)。
在进程切换之前,宏把第一个输入参数 prev(即在 A 的内核堆栈中分配的 prev 局部变量)表示的变量的内容存入 CPU 的 eax 寄存器。在完成进程切换,A 已经恢复执行时,宏把 CPU 的 eax 寄存器的内容写入由第三个输出参数 last 所指示的 A 在内存中的位置。因为 CPU 寄存器不会在切换点发生变化,所以 C 的描述符地址也存在内存的这个位置。在 schedule() 执行过程中,参数 last 指向 A 的局部变量 prev,所以 prev 被 C 的地址覆盖。
三、观测进程上下文切换
systemtap
提供了跟踪进程释放执行权被切换出 CPU 的 probe 方法 scheduler.cpu_off
,这个 probe 的定义
如下:
/**
* probe scheduler.cpu_off - Process is about to stop running on a cpu
*
* @name: name of the probe point
* @task_prev: the process leaving the cpu(same as current)
* @task_next: the process replacing current
* @idle: boolean indicating whether current is the idle process
*
* Context: The process leaving the cpu.
*
*/
probe scheduler.cpu_off =
kernel.trace("sched_switch") !,
kernel.function("context_switch")
{
name ="cpu off"
task_prev = $prev
task next = $next
idle = __is_idle()
}
可以看到 cpu_off
时间其实是 sched_switch
内核 trace 事件和 context_switch
内核函数的封装,同时提供了 task_prev 和 task_next 两个有用的参数。
task_prev 表示当前进程的 task struct
结构体,也就是马上要释放执行权的 task struct
,task_next 表示马上要执行的进程的 task struct
结构体。
注意,这里的进程是广义的进程,也可以是线程,本质是一个
task struct
。
我们就可以通过 cpu_off
事件来统计一段时间内的进程切换情况,完整的 systemtap
脚本如下所示:
global csw_count
probe scheduler.cpu_off {
csw_count[task_prev,task_next]++
}
function fmt_task(task_prev, task_next){
return sprintf("tid(%d)->tid(%d)",task_tid(task_prev), task_tid(task_next))
}
function print_context_switch_top5() {
fprintf("%45s %10s\n", "Context switch", "COUNT")
foreach([task_prev,task_next] in csw_count- limit 5) {
printf("%45s %10d\n", fmt_task(task_prev, task_next), csw_count[task_prev, task_next])
}
delete csw_count
}
probe timer.s(1) {
print_context_switch_top5()
printf("-----------------------------------------------\n")
}
其中 csw_count
是 systemtap
的关联数组,虽然这名字叫数组,其实是一个字典,跟其它语言的 map/dict/hash
类似。csw_count[task_prev,task_next]
语法的含义是将 task_prev 和 task_next 两个值联合起来为字典的 key。
如果我们由进程 A 切换到 B,B 切换到 C,C 切换到 A,那么这个关联数组的形式如下:
csw_count[AB]=1
csw_count[BC]=1
csw_count[CA]=1
接下来我们来执行 4 个跑满 CPU 的单线程程序,在我双核机器上每个程序会占据 50% 的 CPU 左右,开启四个终端,执行四次下面的程序:
$ sha256sum /dev/zero
top
命令的输出如下,这四个进程分别为 27458、27460、27590、27636。
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
27460 root 20 0 116664 1140 856 R 50.8 0.1 0:35.12 sha256sum
27636 root 20 0 116664 1140 856 R 50.3 0.1 0:24.84 sha256sum
27458 root 20 0 116664 1140 856 R 49.7 0.1 0:36.18 sha256sum
27590 root 20 0 116664 1140 856 R 49.7 0.1 0:28.66 sha256sum
然后使用 stap
执行上面的 systemtap 脚本:
Context switch COUNT
tid(27460)->tid(27636) 62
tid(27636)->tid(27460) 62
tid(27590)->tid(27458) 44
tid(27458)->tid(27590) 43
tid(27458)->tid(25116) 10
可以看到,1s 内这四个进程切换得非常频繁。