跟踪分析Linux内核启动过程

内核准备

内核和相关环境

wget https://raw.github.com/mengning/mykernel/master/mykernel-2.0_for_linux-5.4.34.patch
sudo apt install axel
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz
xz -d linux-5.4.34.tar.xz
tar -xvf linux-5.4.34.tar
cd linux-5.4.34
patch -p1 < ../mykernel-2.0_for_linux-5.4.34.patch
sudo apt install build-essential gcc-multilib
sudo apt install qemu # install QEMU
sudo apt install libncurses5-dev bison flex libssl-dev libelf-dev

内核配置

make defconfig # Default configuration is based on 'x86_64_defconfig'
make menuconfig

# 打开debug相关选项 输入y和n进行选中或取消选中
Kernel hacking  --->
    Compile-time checks and compiler options  --->
        [*] Compile the kernel with debug info
        [*]   Provide GDB scripts for kernel debugging
 [*] Kernel debugging
# 关闭KASLR，否则会导致打断点失败 
Processor type and features ---->
    [] Randomize the address of the kernel image (KASLR)

编译内核

make -j$(nproc) # nproc gives the number of CPU cores/threads available

可能遇到的编译错误： objtool: missing symbol table

arch/x86/entry/thunk_64.o: warning: objtool: missing symbol table
make[2]: *** [scripts/Makefile.build:403：arch/x86/entry/thunk_64.o] 错误 1

解决方法：按照对应的补丁进行修改后重新编译 https://www.spinics.net/lists/kernel/msg3797871.html

制作根文件系统

电脑加电启动首先由bootloader加载内核，内核紧接着需要挂载内存根文件系统，其中包含必要的设备驱动和工具，bootloader加载根文件系统到内存中，内核会将其挂载到根目录/下，然后运行根文件系统中init脚本执行一些启动任务，最后才挂载真正的磁盘根文件系统。我们这里为了简化实验环境，仅制作内存根文件系统。这里借助BusyBox 构建极简内存根文件系统，提供基本的用户态可执行程序。

首先从https://www.busybox.net下载 busybox源代码解压，解压完成后，跟内核一样先配置编译，并安装。

axel -n 20 https://busybox.net/downloads/busybox-1.31.1.tar.bz2
tar -jxvf busybox-1.31.1.tar.bz2
cd busybox-1.31.1
make menuconfig

# 记得要编译成静态链接，不用动态链接库
Settings  --->
    [*] Build static binary (no shared libs)

编译安装：

make -j$(nproc) && make install

可能遇到的编译错误： date.c:(.text.date_main+0x22d): undefined reference to `stime’
解决方法：按照对应的补丁进行修改后重新编译 https://git.busybox.net/busybox/patch/?id=d3539be8f27b8cbfdfee460fe08299158f08bcd9

制作内存根文件系统镜像

mkdir rootfs
cd rootfs
cp ../busybox-1.31.1/_install/* ./ -rf
mkdir dev proc sys home
sudo cp -a /dev/{null,console,tty,tty1,tty2,tty3,tty4} dev/

准备init脚本文件放在根文件系统跟目录下（rootfs/init），添加如下内容到init文件。

#!/bin/sh
mount -t proc none /proc
mount -t sysfs none /sys
echo "--------------------"
echo "Wellcome to your OS!"
echo "--------------------"
cd home
/bin/sh

给init脚本添加可执行权限

chmod +x init

测试挂载根文件系统，看内核启动完成后是否执行init脚本

qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz

分析内核启动

有以下启动过程：

1、start_kernel
2、0号进程init_task
3、kernel_thread - fork
4、run_init_process - execve
5、1号进程kernel_init
6、2号进程kthreadd

内核启动入口

要弄清楚Linux内核从哪里开始执行的，有一个关键目录是init目录，内核启动相关的代码都在这个目录下。在init目录下有main.c源文件。main.c源文件中的start_kernel函数是初始化Linux内核启动的起点，start_kernel前的代码使用汇编语言来进行硬件初始化。

init_task

全局变量init_task，即手工创建的（0号进程的）PCB，0号进程即最终的idle进程。init_task进程在Linux中属于一个比较特殊的进程，它是内核开发者人为制造出来的，而不是其他进程通过do_fork来完成，init_task进程的内核栈通过静态方式分配，它试图将从最早的汇编代码一直到start_kernel的执行都纳入到init_task进程上下文中

内核初始化工作

1）lockdep_init():初始化内核依赖关系表，初始化hash表
2）boot_init_stack_canary():为栈增加保护机制，预防一些缓冲区溢出之类的攻击
3）tick_init():初始化内核时钟系统
4）boot_cpu_init():激活当前CPU
5）setup_arch():对不同体系结构的CPU设置不同的参数、选项等
6）trap_init():初始化硬件中断，函数中设置了很多中断门
7）mm_init():建立内核的内存分配器
8）sched_init():初始化任务调度
9）init_IRQ():中断向量的初始化
10）set_intr_gate，设置了很多中断门
11）set_system_trap_gate，设置系统陷阱门，系统调用
….

rest_init

Linux内核初始化的尾声，做了很多剩下的初始化工作。从rest_init开始，Linux开始产生进程，在rest_init函数中，内核将通过下面的代码产生第一个真正的进程(pid=1)。

kernel_init()：是一个函数最终会通过do_execve系统调用来执行根文件系统下的/sbin/init文件（所以此前根文件系统必须已经就绪）。

这里首先运行“/sbin/init”，如果失败再运行“/etc/init”，然后是 “/bin/init”，然后是“/bin/sh”（也就是说，init可执行文件可以放在上面代码中寻找的4个目录中都可以），如果都失败，则可以通过在系统启动时再添加的启动参数来指定init，比如init=/home/rootfs/init。这里是内核初始化结束并开始用户态初始化的阴阳界。也可以在启动时添加initrd参数，在系统引导过程中挂载的一个临时根文件系统。

qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s

init进程是Linux系统的第一个用户态进程，为1号进程，没有父进程，由Linux内核直接启动，接下来还创建了一个kthreadd内核线程，来管理系统的资源。