【Linux kernel】Linux电源管理(3)_Generic PM之Reboot过程

1. 前言

在使用计算机的过程中，关机和重启是最先学会的两个操作。同样，这两个操作在Linux中也存在，称作shutdown和restart。这就是本文要描述的对象。

在Linux Kernel中，主流的shutdown和restart都是通过“reboot”系统调用（具体可参考kernel/reboot.c）来实现的，这也是本文使用“Generic PM之Reboot过程”作为标题的原因。另外，除了我们常用的shutdown和restart两类操作之外，该系统调用也提供了其它的reboot方式，也会在这里一一说明。

2. Kernel支持的reboot方式

也许你会奇怪，reboot是重启的意思，所以用它实现Restart是合理的，但怎么用它实现关机操作呢？答案是这样的：关机之后，早晚也会开机啊！所以关机是一种特殊的Restart过程，只不过持续的时间有点长而已。所以，内核根据不同的表现方式，将reboot分为如下的几种方式：

//include/uapi/linux/reboot.h 
/*
 * Commands accepted by the _reboot() system call.
 *
 * RESTART     Restart system using default command and mode.
 * HALT        Stop OS and give system control to ROM monitor, if any.
 * CAD_ON      Ctrl-Alt-Del sequence causes RESTART command.
 * CAD_OFF     Ctrl-Alt-Del sequence sends SIGINT to init task.
 * POWER_OFF   Stop OS and remove all power from system, if possible.
 * RESTART2    Restart system using given command string.
 * SW_SUSPEND  Suspend system using software suspend if compiled in.
 * KEXEC       Restart system using a previously loaded Linux kernel
 */

#define	LINUX_REBOOT_CMD_RESTART	0x01234567
#define	LINUX_REBOOT_CMD_HALT		0xCDEF0123
#define	LINUX_REBOOT_CMD_CAD_ON		0x89ABCDEF
#define	LINUX_REBOOT_CMD_CAD_OFF	0x00000000
#define	LINUX_REBOOT_CMD_POWER_OFF	0x4321FEDC
#define	LINUX_REBOOT_CMD_RESTART2	0xA1B2C3D4
#define	LINUX_REBOOT_CMD_SW_SUSPEND	0xD000FCE2
#define	LINUX_REBOOT_CMD_KEXEC		0x45584543

RESTART，正常的重启，也是我们平时使用的重启。执行该动作后，系统会重新启动。

HALT，停止操作系统，然后把控制权交给其它代码（如果有的话）。具体的表现形式，依赖于系统的具体实现。

CAD_ON/CAD_OFF，允许/禁止通过Ctrl-Alt-Del组合按键触发重启（RESTART）动作。
注1：Ctrl-Alt-Del组合按键的响应是由具体的Driver（如Keypad）实现的。

POWER_OFF，正常的关机。执行该动作后，系统会停止操作系统，并去除所有的供电。

RESTART2，重启的另一种方式。可以在重启时，携带一个字符串类型的cmd，该cmd会在重启前，发送给任意一个关心重启事件的进程，同时会传递给最终执行重启动作的machine相关的代码。内核并没有规定该cmd的形式，完全由具体的machine自行定义。

SW_SUSPEND，即前一篇文章中描述的Hibernate操作，会在下一篇文章描述，这里就暂不涉及。

KEXEC，重启并执行已经加载好的其它Kernel Image（需要CONFIG_KEXEC的支持），暂不涉及。

3. Reboot相关的操作流程

在Linux操作系统中，可以通过reboot、halt、poweroff等命令，发起reboot，具体的操作流程如下：

• 一般的Linux操作系统，在用户空间都提供了一些工具集合（如常在嵌入式系统使用的Busybox），这些工具集合包含了reboot、halt和poweroff三个和Reboot相关的命令。读者可以参考man帮助文档，了解这些命令的解释和使用说明
• 用户空间程序通过reboot系统调用，进入内核空间
• 内核空间根据执行路径的不同，提供了kernel_restart、kernel_halt和kernel_power_off三个处理函数，响应用空间的reboot请求
• 这三个处理函数的处理流程大致相同，主要包括：向关心reboot过程的进程发送Notify事件；调用drivers核心模块提供的接口，关闭所有的外部设备；调用drivers syscore模块提供的接口，关闭system core；调用Architecture相关的处理函数，进行后续的处理；最后，调用machine相关的接口，实现真正意义上的Reboot
• 另外，借助TTY模块提供的Sysreq机制，内核提供了其它途径的关机方法，如某些按键组合、向/proc文件写入命令等，后面会详细介绍

4. Reboot过程的内部动作和代码分析

4.1 Reboot系统调用

Reboot系统调用的实现位于“kernel/reboot.c ”，其函数原型如下：

/*
 * Reboot system call: for obvious reasons only root may call it,
 * and even root needs to set up some magic numbers in the registers
 * so that some mistake won't make this reboot the whole machine.
 * You can also set the meaning of the ctrl-alt-del-key here.
 *
 * reboot doesn't sync: do that yourself before calling this.
 */
SYSCALL_DEFINE4(reboot, int, magic1, int, magic2, unsigned int, cmd,
		void __user *, arg)

该函数的参数解释如下：

reboot，该系统调用的名称。

magic1、magic2，两个int类型的“魔力数”，用于防止误操作。具体在“include/uapi/linux/reboot.h”中定义，感兴趣的同学可以去看看（话说这些数字还是蛮有意思的，例如Linus同学及其家人的生日就在里面，猜出来的可以在文章下面留言）。

cmd，第2章所讲述的reboot方式。

arg，其它的额外参数。

reboot系统调用的内部动作比较简单：

1）判断调用者的用户权限，如果不是超级用户（superuser），则直接返回错误（这也是我们再用户空间执行reboot、halt、poweroff等命令时，必须是root用户的原因）；

2）判断传入的magic number是否匹配，如果不匹配，直接返回错误。这样就可以尽可能的防止误动作发生；

3）调用reboot_pid_ns接口，检查是否需要由该接口处理reboot请求。这是一个有关pid namespaces的新特性，也是Linux内核重要的知识点，我们会在其它文章中描述，这里就不多说了；

4）如果是POWER_OFF命令，且没有注册power off的machine处理函数（pm_power_off），把该命令转换为HALT命令；

5）根据具体的cmd命令，执行具体的处理，包括，
      如果是RESTART或者RESTART2命令，调用kernel_restart。
      如果是CAD_ON或CAD_OFF命令，更新C_A_D的值，表示是否允许通过Ctrl+Alt+Del组合键重启系统。
      如果是HALT命令，调用kernel_halt。
      如果是POWER_OFF命令，调用kernel_power_off。
      如果是KEXEC命令，调用kernel_kexec接口（暂不在本文涉及）。
      如果是SW_SUSPEND，调用hibernate接口（会在下一章描述）；

6）返回上述的处理结果，系统调用结束。

4.2 kernel_restart、kernel_halt和kernel_power_off

这三个接口也位于“kernel/reboot.c”，实现比较类似，具体动作包括：

1）调用kernel_xxx_prepare函数，进行restart/halt/power_off前的准备工作，包括，
      调用blocking_notifier_call_chain接口，向关心reboot事件的进程，发送SYS_RESTART、SYS_HALT或者SYS_POWER_OFF事件。对RESTART来说，还好将cmd参数一并发送出去。
      将系统状态设置为相应的状态（SYS_RESTART、SYS_HALT或SYS_POWER_OFF）。
      调用usermodehelper_disable接口，禁止User mode helper（可参考“Linux设备模型(3)_Uevent”相关的描述）。
      调用device_shutdown，关闭所有的设备（具体内容会在下一节讲述）；

2）如果是power_off，且存在PM相关的power off prepare函数（pm_power_off_prepare），则调用该回调函数；

3）调用migrate_to_reboot_cpu接口，将当前的进程（task）移到一个CPU上；
注2：对于多CPU的机器，无论哪个CPU触发了当前的系统调用，代码都可以运行在任意的CPU上。这个接口将代码分派到一个特定的CPU上，并禁止调度器分派代码到其它CPU上。也就是说，这个接口被执行后，只有一个CPU在运行，用于完成后续的reboot动作。

4）调用syscore_shutdown接口，将系统核心器件关闭（例如中断等）；

5）调用printk以及kmsg_dump，向这个世界发出最后的声音（打印日志）；

6）最后，由machine-core的代码，接管后续的处理。

4.3 device_shutdown

在理解device_shutdown之前，我们需要回忆一下前几篇有关Linux设备模型的文章。同时，借助对电源管理的解析，我们会把在Linux设备模型系列文章中没有描述的部分补回来。设备模型中和device_shutdown有关的逻辑包括：

• 每个设备（struct device）都会保存该设备的驱动（struct device_driver）指针，以及该设备所在总线（struct bus_type）的指针（具体参考“Linux设备模型(5)_device和device driver”）
• 设备驱动中有一个名称为“shutdown”的回调函数，用于在device_shutdown时，关闭该设备（具体参考“Linux设备模型(5)_device和device driver”）
• 总线中也有一个名称为“shutdown”的回调函数，用于在device_shutdown时，关闭该设备（具体参考“Linux设备模型(6)_Bus”）
• 系统的所有设备，都存在于“/sys/devices/”目录下，而该目录由名称为“devices_kset”的kset表示。而由“Linux设备模型(2)_Kobject”的描述可知，kset中会使用一个链表保存其下所有的kobject（也即“/sys/devices/”目录下的所有设备）。最终的结果就是，以“devices_kset”为root节点，将内核中所有的设备（以相应的kobject为代表），组织成一个树状结构

介绍完以上的背景知识，我们来看device_shutdown的实现，就非常容易了。该接口位于“drivers/base/core.c”中，执行逻辑如下。

/**
 * device_shutdown - call ->shutdown() on each device to shutdown.
 */
void device_shutdown(void)
{
	struct device *dev, *parent;

	wait_for_device_probe();
	device_block_probing();

	cpufreq_suspend();

	spin_lock(&devices_kset->list_lock);
	/*
	 * Walk the devices list backward, shutting down each in turn.
	 * Beware that device unplug events may also start pulling
	 * devices offline, even as the system is shutting down.
	 */
	while (!list_empty(&devices_kset->list)) {
		dev = list_entry(devices_kset->list.prev, struct device,
				kobj.entry);

		/*
		 * hold reference count of device's parent to
		 * prevent it from being freed because parent's
		 * lock is to be held
		 */
		parent = get_device(dev->parent);
		get_device(dev);
		/*
		 * Make sure the device is off the kset list, in the
		 * event that dev->*->shutdown() doesn't remove it.
		 */
		list_del_init(&dev->kobj.entry);
		spin_unlock(&devices_kset->list_lock);

		/* hold lock to avoid race with probe/release */
		if (parent)
			device_lock(parent);
		device_lock(dev);

		/* Don't allow any more runtime suspends */
		pm_runtime_get_noresume(dev);
		pm_runtime_barrier(dev);

		if (dev->class && dev->class->shutdown_pre) {
			if (initcall_debug)
				dev_info(dev, "shutdown_pre\n");
			dev->class->shutdown_pre(dev);
		}
		if (dev->bus && dev->bus->shutdown) {
			if (initcall_debug)
				dev_info(dev, "shutdown\n");
			dev->bus->shutdown(dev);
		} else if (dev->driver && dev->driver->shutdown) {
			if (initcall_debug)
				dev_info(dev, "shutdown\n");
			dev->driver->shutdown(dev);
		}

		device_unlock(dev);
		if (parent)
			device_unlock(parent);

		put_device(dev);
		put_device(parent);

		spin_lock(&devices_kset->list_lock);
	}
	spin_unlock(&devices_kset->list_lock);
}

1）遍历devices_kset的链表，取出所有的设备（struct device）；

2）将该设备从链表中删除；

3）调用pm_runtime_get_noresume和pm_runtime_barrier接口，停止所有的Runtime相关的电源管理动作（后续的文章会详细描述有关Runtime PM的逻辑）；

4）如果该设备的bus提供了shutdown函数，优先调用bus的shutdown，关闭设备；

5）如果bus没有提供shutdown函数，检测设备driver是否提供，如果提供，调用设备driver的shutdown，关闭设备；

6）直至处理完毕所有的设备。

类：设备的类用于组织设备的通用属性和行为。例如，所有存储设备可能属于 "storage" 类，所有网络设备可能属于 "net" 类。

一个例子是 bluetooth 类，它用于组织所有蓝牙设备。

struct class bluetooth_class = {
.name = "bluetooth",
.owner = THIS_MODULE,
.dev_release = bluetooth_release,
};

总线：设备的总线用于将设备连接到主机并进行通信。例如，USB 总线用于将 USB 设备连接到计算机，而 PCI 总线用于将 PCI 设备连接到计算机。

一个例子是 pci_bus_type，它用于组织所有 PCI 设备。

static const struct bus_type pci_bus_type = {
.name = "pci",
.match = pci_bus_match,
.uevent = pci_uevent,
.probe = pci_device_probe,
.remove = pci_device_remove,
.shutdown = pci_device_shutdown,
.dev_groups = pci_dev_groups,
};

设备：设备是操作系统中的硬件或软件元素，例如磁盘驱动器、网络接口卡或图形处理器。

一个例子是 sda 设备，它代表第一个 SATA 硬盘驱动器。

static struct device sda_device = {
.init_name = "sda",
.bus = &scsi_bus_type,
.parent = &scsi_host,
.release = scsi_disk_release,
};

syscore_shutdown

system core的shutdown和设备的shutdown类似，也是从一个链表中，遍历所有的system core，并调用它的shutdown接口。后续蜗蜗会专门写一篇文章介绍syscore，这里暂不描述。

4.5 machine_restart、machine_halt和machine_power_off

虽然以machine_为前缀命名，这三个接口却是属于Architecture相关的处理函数，如ARM。以ARM为例，它们在“arch/arm/kernel/process.c”中实现，具体如下。

4.5.1 machine_restart

// arch/arm64/kernel/process.c 

void machine_restart(char *cmd)
{
	/* Disable interrupts first */
	local_irq_disable();
	smp_send_stop();

	/*
	 * UpdateCapsule() depends on the system being reset via
	 * ResetSystem().
	 */
	if (efi_enabled(EFI_RUNTIME_SERVICES))
		efi_reboot(reboot_mode, NULL);

	/* Now call the architecture specific reboot code. */
	do_kernel_restart(cmd);

	/*
	 * Whoops - the architecture was unable to reboot.
	 */
	printk("Reboot failed -- System halted\n");
	while (1);
}

0）先转述一下该接口的注释；
对于多CPU的机器来说，Restart之前必须保证其它的CPU处于非活动状态，由其中的一个主CPU负责Restart动作。并且，必须实现一个基于硬件的Restart操作，以保证所有CPU同步Restart，这是设计的重点！
对于单CPU机器来说，就相对简单了，可以直接用软件reset的方式实现Restart。

1）调用smp_send_stop接口，确保其它CPU处于非活动状态；

2）调用machine-dependent的restart接口，实现真正的restart。该接口是一个回调函数，由“arch/arm/kernel/process.c”声明，由具体的machine代码实现。格式如下：
void (*arm_pm_restart)(char str, const char *cmd) = null_restart;
EXPORT_SYMBOL_GPL(arm_pm_restart);

3）等待1s；

4）如果没有返回，则restart成功，否则失败，打印错误信息。

4.5.2 machine_halt

ARM的halt很简单，就是将其它CPU停下来，并禁止当前CPU的中断后，死循环！确实，中断被禁止了，又死循环了，不halt才怪。代码如下：

/*
 * Halting simply requires that the secondary CPUs stop performing any
 * activity (executing tasks, handling interrupts). smp_send_stop()
 * achieves this.
 */
void machine_halt(void)
{
	local_irq_disable();
	smp_send_stop();
	while (1);
}

4.5.3 machine_power_off

/*
 * Power-off simply requires that the secondary CPUs stop performing any
 * activity (executing tasks, handling interrupts). smp_send_stop()
 * achieves this. When the system power is turned off, it will take all CPUs
 * with it.
 */
void machine_power_off(void)
{
	local_irq_disable();
	smp_send_stop();
	if (pm_power_off)
		pm_power_off();
}

power off动作和restart类似，即停止其它CPU，调用回调函数。power off的回调函数和restart类似，就不再说明了。

5. 总结与思考

5.1 Architecture和Machine的概念

本文是我们在分析Linux内核时第一次遇到Architecture和Machine的概念，顺便解释一下。内核代码中最常见的目录结构就是：arch/xxx/mach-xxx/（例如arch/arm/mach-bcm/）。由该目录结构可知，Architecture（简称arch）是指具体的体系结构，如ARM、X86等等。Machine呢，是指具体体系结构下的一个或一系列的SOC，如bcm等。

5.2 电源管理驱动（和reboot有关的部分）需要实现内容

由上面的分析可知，在Reboot的过程中，大部分的逻辑是否内核处理的，具体的driver需要关注2点即可：

1）实现各自的shutdown接口，以正确关闭对应的设备

2）实现machine-dependent的接口，以确保底层的Machine可以正确restart或者power off

看来还是很简单的。

参考链接
Linux电源管理(3)_Generic PM之Reboot过程