linux实验四：源码阅读、编译调试和启动过程

用VSCode阅读Linux内核源代码

Visual Studio Code 的官方下载地址为： https://code.visualstudio.com/#alt-

配置 VSCode

由于 Linux 内核高度定制化，所以没有办法直接通过配置 includePath 等让 Intellisense 正常提示，这里借助一个 Python 脚本来生成 compile_commands.json 文件帮助 Intellisense 正常提示（包括头文件和宏定义等）。在Linux源代码目录下直接运行如下命令就可以生成 compile_commands.json 了。

python ./scripts/gen_compile_commands.py

安装VSCode插件C/C++ Intellisense和C/C++ Themes

由于插件C/C++ Intellisense需要GNU Global，还需要使用如下命令安装GNU Global。

sudo apt install global

配置 VSCode 配置文件.vscode/c_cpp_properties.json

这样VSCode就能自动搜索跳转到函数定义了，阅读代码会方便很多。由于Linux内核代码非常庞大，为加速搜索速度还可以设置排除一些干扰文件，比如修改配置文件.vscode/settings.json

配置VSCode调试Linux内核

命令行下打断点跟踪代码还是不够方便，用VSCode边看代码随时打断点单步执行会更方便一些，这需要配置.vscode/tasks.json和.vscode/launch.json。


配置文件参见https://github.com/mengning/linuxkernel/tree/master/src/kerneldebuging

编译配置安装Linux内核的步骤

（1）安装开发工具
（2）下载内核源代码
（3）准备配置文件.config
（4）make menuconfig：配置内核选项
（5）make [-j #] 编译内核
（6）make modules_install：安装模块
（7）make install ：安装内核文件
（8）安装bzImage
（9）生成initramfs根文件系统镜像，也习惯于命名为rootfs
（10）编辑bootloader的配置文件启用新内核

（1）安装开发工具

sudo apt install build-essential
sudo apt install qemu # install QEMU
sudo apt install libncurses5-dev bison flex libssl-dev libelf-dev
sudo apt install axel

（2）下载内核源代码

以下linux-5.4.34 / busybox-1.31.1 / rootfs 均在根目录下

axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz
xz -d linux-5.4.34.tar.xz
tar -xvf linux-5.4.34.tar
cd linux-5.4.34

（3）配置内核选项

“更新”模式进行配置Linux内核：
（a）make config：基于命令行以遍历的方式去配置内核中可配置的每个选项。
（b）make menuconfig：基于curses的文本窗口界面。
（c）make gconfig：基于GTK (GNOME)环境窗口界面。
（d）make xconfig：基于QT(KDE)环境的窗口界面。
“全新配置”模式进行配置重新生成.config文件的方法：
（a）make defconfig：基于本机内核为目标平台提供的“默认”配置进行配置。
（b）make allyesconfig: 所有选项均回答为“yes”。
（c）make allnoconfig: 所有选项均回答为"no”。

make defconfig # Default configuration is based on 'x86_64_defconfig'
make menuconfig

# 打开debug相关选项 输入y和n进行选中或取消选中
Kernel hacking  --->
    Compile-time checks and compiler options  --->
        [*] Compile the kernel with debug info
        [*]   Provide GDB scripts for kernel debugging
 [*] Kernel debugging
# 关闭KASLR，否则会导致打断点失败 
Processor type and features ---->
    [] Randomize the address of the kernel image (KASLR)

（5）编译和运行内核

make -j$(nproc) # nproc gives the number of CPU cores/threads available

#测试一下内核能不能正常加载运行，因为没有文件系统最终会kernel panic

qemu-system-x86_64 -kernel arch/x86/boot/bzImage

（6）制作根文件系统

电脑加电启动首先由bootloader加载内核，内核紧接着需要挂载内存根文件系统，其中包含必要的设备驱动和工具，bootloader加载根文件系统到内存中，内核会将其挂载到根目录/下，然后运行根文件系统中init脚本执行一些启动任务，最后才挂载真正的磁盘根文件系统。我们这里为了简化实验环境，仅制作内存根文件系统。这里借助BusyBox 构建极简内存根文件系统，提供基本的用户态可执行程序。

首先从https://www.busybox.net下载 busybox源代码解压，解压完成后，跟内核一样先配置编译，并安装。

axel -n 20 https://busybox.net/downloads/busybox-1.31.1.tar.bz2
tar -jxvf busybox-1.31.1.tar.bz2
cd busybox-1.31.1
make menuconfig

# 记得要编译成静态链接，不用动态链接库
Settings  --->
    [*] Build static binary (no shared libs)

（7）编译安装

默认会安装到源码目录下的 _install 目录中。

make -j$(nproc) && make install

（8）制作内存根文件系统镜像

mkdir rootfs
cd rootfs
cp ../busybox-1.31.1/_install/* ./ -rf
mkdir dev proc sys home
sudo cp -a /dev/{null,console,tty,tty1,tty2,tty3,tty4} dev/

准备init脚本文件放在根文件系统跟目录下（rootfs/init），添加如下内容到init文件。

#!/bin/sh
mount -t proc none /proc
mount -t sysfs none /sys
echo "--------------------"
echo "Wellcome to your OS!"
echo "--------------------"
cd home
/bin/sh

给init脚本添加可执行权限

chmod +x init

打包成内存根文件系统镜像

find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../rootfs.cpio.gz 

测试挂载根文件系统，看内核启动完成后是否执行init脚本

qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz

（9）使用gdb跟踪调试Linux内核

使用gdb跟踪调试内核，加两个参数，一个是-s，在TCP 1234端口上创建了一个gdb-server。可以另外打开一个窗口，用gdb把带有符号表的内核镜像vmlinux加载进来，然后连接gdb server，设置断点跟踪内核。若不想使用1234端口，可以使用-gdb tcp:xxxx来替代-s选项），另一个是-S代表启动时暂停虚拟机，等待 gdb 执行 continue指令（可以简写为c）。

跟踪调试Linux内核的基本方法

qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s
#纯命令行下启动虚拟机
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s -nographic -append "console=ttyS0"

-S和-s选项：

 # -S freeze CPU at startup (use ’c’ to start execution) 
 # -s shorthand for -gdb tcp::1234

若不想使用1234端口，则可以使用-gdb tcp:xxxx来取代-s选项

用以上命令先启动，然后可以看到虚拟机一启动就暂停了。加-nographic -append "console=ttyS0"参数启动不会弹出QEMU虚拟机窗口，可以在纯命令行下启动虚拟机，此时可以通过“killall qemu-system-x86_64”命令强行关闭虚拟机。
再打开一个窗口，启动gdb，把内核符号表加载进来，建立连接：

cd linux-5.4.34/
gdb vmlinux
(gdb) target remote:1234
(gdb) b start_kernel
c、bt、list、next、step....

跟踪分析Linux内核的启动过程

内核源码目录解读

• arch : 计算机的体系结构–Linux系统能跑在不同类型CPU的关键
• block : 部分块设备驱动程序
• crypto : 加密、压缩、CRC校验算法
• Documentation : 内核的文档
• drivers : 设备驱动程序，如字符设备、块设备、SCSI设备等
• fs : fs是指文件系统（file system），里面列出了Linux支持的各种文件系统的实现
• include : 内核所需要的公共的头文件，包括各种体系结构共用的头文件。
  而模块内部的头文件放在各自模块内部，比如ARM架构特有的一些头文件在arch/arm/include目录及其子目录下。
• init : 内核初始化代码，init目录中的main.c源文件负责整个Linux内核启动，而main.c源文件中的start_kernel函数是Linux内核启动过程的起点，
• ipc : 进程间通信代码，IPC就是进程间通信（inter-process communication）
• kernel : Linux大多数关键的核心功能都在此目录实现的
• lib : 公用的库文件，里面是一些公用的库函数。在内核编程中不能用C语言标准库函数，这里用来替代C语言标准库函数。
  譬如把字符串转成数字要用atoi函数，但是内核编程中只能用lib目录下的atoi函数，不能用标准C语言库中的atoi函数。
  譬如在内核中要打印信息时不能用printf，而要用printk，这个printk就是lib目录下的。
• mm : 实现内存管理，mm是memory management，即内存管理
• net : 网络协议的实现代码，比如TCP/IP协议栈等
• samples : 一些内核编程的范例
• scripts: 配置内核的脚本
• security : SElinux的模块
• sound : 音频设备的驱动程序
• usr : cpio命令实现
  -virt : 内核虚拟机

Linux内核分析中比较重要的是arch目录下的x86目录下的源文件、init目录下的main.c、kernel目录下和进程调度相关的代码等，其他还有内存管理mm、网络net、文件系统fs等代码。

内核启动过程分析

1、start_kernel() 静态创建 0号进程 init_task
2、res_init() -----》kernel_thread() - fork 1号进程 -----》 kernel_init() -----》 run_init_process() -----》 do_execve()
3、kernel_thread() - 2号进程 kthreadd

要弄清楚Linux内核从哪里开始执行的，有一个关键目录是init目录，内核启动相关的代码都在这个目录下。在init目录下有main.c源文件。普通C代码程序是从main函数开始运行的，C程序的阅读一般也从main函数开始。init目录中的main.c源文件是整个Linux内核启动的起点，但它的起点不是main函数，而是main.c源文件中的start_kernel函数，start_kernel函数是初始化Linux内核启动的起点，start_kernel前的代码使用汇编语言来进行硬件初始化。

start_kernel() /linux-5.4.34/init/main.c（576行）
全局变量init_task，即手工创建的（0号进程的）PCB，0号进程即最终的idle进程

init_task进程在Linux中属于一个比较特殊的进程，它是内核开发者人为制造出来的，而不是其他进程通过do_fork来完成，init_task进程的内核栈通过静态方式分配

1）lockdep_init():初始化内核依赖关系表，初始化hash表
2）boot_init_stack_canary():为栈增加保护机制，预防一些缓冲区溢出之类的攻击
3）tick_init():初始化内核时钟系统
4）boot_cpu_init():激活当前CPU
5）setup_arch():对不同体系结构的CPU设置不同的参数、选项等
6）trap_init():初始化硬件中断，函数中设置了很多中断门
7）mm_init():建立内核的内存分配器
8）sched_init():初始化任务调度
9）init_IRQ():中断向量的初始化
10）set_intr_gate，设置了很多中断门
11）set_system_trap_gate，设置系统陷阱门，系统调用
….

rest_init()：Linux内核初始化的尾声，做了很多剩下的初始化工作。
从rest_init开始，Linux开始产生进程，因为init_task是静态制造出来的，pid=0，它试图将从最早的汇编代码一直到start_kernel的执行都纳入到init_task进程上下文中。在rest_init函数中，内核将通过下面的代码产生第一个真正的进程(pid=1)

kernel_thread()：创建一个内核线程，实际上就是内核进程，Linux内核是不支持类似Windows NT一样的线程概念的。Linux本质上只支持进程。这里的kernel_init只是一个函数
kernel_init()：/linux-5.4.34/init/main.c（1106行）会通过调用do_execve来执行根文件系统下的/sbin/init文件（所以此前根文件系统必须已经就绪），do_execve对用户空间程序/sbin/init的调用发起自int $0x80，这是个从内核空间发起的系统调用

run_init_process()：实际上是通过嵌入汇编构建一个类似用户态代码一样的do_execve()调用，其参数就是要执行的可执行文件名，也就是这里的init进程在磁盘上的文件

这里的run_init_process就是通过execve()来运行init程序。这里首先运行“/sbin/init”，如果失败再运行“/etc/init”，然后是 “/bin/init”，然后是“/bin/sh”（也就是说，init可执行文件可以放在上面代码中寻找的4个目录中都可以），如果都失败，则可以通过在系统启动时再添加的启动参数来指定init，比如init=/home/rootfs/init。这里是内核初始化结束并开始用户态初始化的阴阳界

init进程是Linux系统的第一个用户态进程，为1号进程，没有父进程，由Linux内核直接启动

接下来还创建了一个kthreadd内核线程，来管理系统的资源

此时init_task的任务基本上已经完全结束了，它将沦落为一个idle task，事实上在更早前的sched_init()函数中，通过init_idle(current, smp_processor_id())函数的调用就已经把init_task初始化成了一个idle task，init_idle函数的第一个参current就是&init_task，在init_idle中将会把init_task加入到cpu的运行队列中，这样当运行队列中没有别的就绪进程时，init_task（也就是idle task）将会被调用，它的核心是一个while(1)循环，在循环中它将会调用schedule函数以便在运行队列中有新进程加入时切换到该新进程上

以上内核启动过程分析均来自：https://www.jianshu.com/p/6d3ae604b4cf
其他参考链接：https://blog.csdn.net/Lansing999/article/details/50860325
http://blog.chinaunix.net/uid-24219701-id-2843452.html