OpenWRT启动流程剖析

一、前言

        OpenWRT是一个嵌入式的Linux发行版，所以，它的启动流程会依赖于Linux内核的启动，例如：Linux汇编启动阶段时的0号进程的创建，以及后续C程序启动阶段的1号和2号进程的创建，也就是用户空间和内核空间的祖先进程，当然，它也有和原生Linux不一样的地方，这些启动阶段的差异也就是下面我们要重点介绍的内容。

二、OpenWRT启动进程转换图

        下图是本文的核心流程图，后续内容的展开也是依赖此图，这里从整体上展示了启动阶段的进程间的转换，它是整个启动流程的框架，框架搭好后我们再来深挖下各个进程中的细节，由整体到局部的逐步深入学习。

        这里可以看到整个启动流程一共涉及到7个进程，其中4个是PID1的父进程的转换，3个是/sbin/init的子进程，需要注意的是，在这里仅展示了和原生Linux内核启动流程的差异部分，其他通用的启动流程并不在本文的讨论范围。

三、OpenWRT启动代码流程图

        下图是OpenWRT的启动代码流程图，这里也是以各个进程为核心进行数据，下图中的蓝色部分就是和启动相关的进程。

四、启动进程功能介绍

        上面展示的启动阶段进程转换图已经大体上展现了OpenWRT的启动全貌，但是这仅仅是个架子，接下来我们就来深挖下各个进程的功能，从整体到局部的梳理完成后，我们对整个OpenWRT的启动流程就会有更深入的认识和理解。

        4.1、kernel_init进程

                OpenWRT的启动是基于Linux Kernel的，所以，其启动过程会依赖Linux内核的启动，位于Linux_kernel-5.4/init/main.c中的kernel_init函数会指定内核启动的第一个用户空间进程，原生的Linux内核默认启动的第一个用户空间进程是/sbin/init (由busybox实现)，但在OpenWRT中默认启动的第一个用户空间进程是/etc/preinit。

                OpenWRT中第一个用户空间进程的指定一般是在设备树中指定的，如下图所示：

        4.2、/etc/preinit进程

                /etc/preinit实际上是一个shell脚本，它位于openwrt/package/base-files/files/etc/preinit，该脚本是OpenWRT启动的关键，下图是preinit脚本实现，下面我们来一一介绍。

#!/bin/sh
# Copyright (C) 2006-2016 OpenWrt.org
# Copyright (C) 2010 Vertical Communications

[ -z "$PREINIT" ] && exec /sbin/init    # 因为PREINIT是空，所以直接执行/sbin/init进程

export PATH="%PATH%"

. /lib/functions.sh
. /lib/functions/preinit.sh
. /lib/functions/system.sh

boot_hook_init preinit_essential
boot_hook_init preinit_main
boot_hook_init failsafe
boot_hook_init initramfs
boot_hook_init preinit_mount_root

for pi_source_file in /lib/preinit/*; do
	. $pi_source_file
done

boot_run_hook preinit_essential

pi_mount_skip_next=false
pi_jffs2_mount_success=false
pi_failsafe_net_message=false

boot_run_hook preinit_main

                首先执行第5行[ -z "$PREINIT" ] && exec /sbin/init，此时PREINIT变量并没有定义，所以会直接执行exec /sbin/init，这里会将当前进程重新替换成/sbin/init进程，这个脚本后续的内容在后续的进程中会继续执行，当前进程几乎没有干什么事。这里需要注意的是原生的Linux内核中/sbin/init进程是由busybox实现的，而在OpenWRT中是由procd实现的。

        4.3、/sbin/init进程

                紧接着进入/sbin/init进程，它位于openwrt/build_dir/target-aarch64-openwrt-linux-musl_musl/procd-default/procd-2021-03-08-2cfc26f8/initd/init.c中，代码实现如下所示：

int
main(int argc, char **argv)
{
    pid_t pid;

    ulog_open(ULOG_KMSG, LOG_DAEMON, "init");

    /* 监控和处理接收到的SIGTERM、SIGUSR1、SIGUSR2和SIGPWR信号 */
    sigaction(SIGTERM, &sa_shutdown, NULL);
    sigaction(SIGUSR1, &sa_shutdown, NULL);
    sigaction(SIGUSR2, &sa_shutdown, NULL);
    sigaction(SIGPWR, &sa_shutdown, NULL);

    if (selinux(argv))
        exit(-1);
    early();
    cmdline();
    watchdog_init(1);

    pid = fork();
    if (!pid) {
        char *kmod[] = { "/sbin/kmodloader", "/etc/modules-boot.d/", NULL };

        if (debug < 3)
            patch_stdio("/dev/null");

        execvp(kmod[0], kmod);
        ERROR("Failed to start kmodloader: %m\n");
        exit(EXIT_FAILURE);
    }
    if (pid <= 0) {
        ERROR("Failed to start kmodloader instance: %m\n");
    } else {
        const struct timespec req = {0, 10 * 1000 * 1000};
        int i;

        for (i = 0; i < 1200; i++) {
            if (waitpid(pid, NULL, WNOHANG) > 0)
                break;
            nanosleep(&req, NULL);
            watchdog_ping();
        }
    }
    uloop_init();
    preinit();
    uloop_run();

    return 0;
}

                该进程的功能如下：

                        1）挂载一些系统用的虚拟分区，如/proc，/sysfs，/sys/fs/cgroup, /tmp, /dev, /dev/pts等 【early() -> early_mounts()】

                        2）创建设备节点和/dev/null空设备, 任何进入此文件的数据都会被删除, 一般用于删除输出的内容 【early() -> early