用VSCode阅读Linux内核源代码
Visual Studio Code 的官方下载地址为: https://code.visualstudio.com/#alt-
配置 VSCode
由于 Linux 内核高度定制化,所以没有办法直接通过配置 includePath 等让 Intellisense 正常提示,这里借助一个 Python 脚本来生成 compile_commands.json 文件帮助 Intellisense 正常提示(包括头文件和宏定义等)。在Linux源代码目录下直接运行如下命令就可以生成 compile_commands.json 了。
python ./scripts/gen_compile_commands.py
安装VSCode插件C/C++ Intellisense和C/C++ Themes
由于插件C/C++ Intellisense需要GNU Global,还需要使用如下命令安装GNU Global。
sudo apt install global
配置 VSCode 配置文件.vscode/c_cpp_properties.json
这样VSCode就能自动搜索跳转到函数定义了,阅读代码会方便很多。由于Linux内核代码非常庞大,为加速搜索速度还可以设置排除一些干扰文件,比如修改配置文件.vscode/settings.json
配置VSCode调试Linux内核
命令行下打断点跟踪代码还是不够方便,用VSCode边看代码随时打断点单步执行会更方便一些,这需要配置.vscode/tasks.json和.vscode/launch.json。
配置文件参见https://github.com/mengning/linuxkernel/tree/master/src/kerneldebuging
编译配置安装Linux内核的步骤
(1)安装开发工具
(2)下载内核源代码
(3)准备配置文件.config
(4)make menuconfig:配置内核选项
(5)make [-j #] 编译内核
(6)make modules_install:安装模块
(7)make install :安装内核文件
(8)安装bzImage
(9)生成initramfs根文件系统镜像,也习惯于命名为rootfs
(10)编辑bootloader的配置文件启用新内核
(1)安装开发工具
sudo apt install build-essential
sudo apt install qemu # install QEMU
sudo apt install libncurses5-dev bison flex libssl-dev libelf-dev
sudo apt install axel
(2)下载内核源代码
以下linux-5.4.34 / busybox-1.31.1 / rootfs 均在根目录下
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz
xz -d linux-5.4.34.tar.xz
tar -xvf linux-5.4.34.tar
cd linux-5.4.34
(3)配置内核选项
“更新”模式进行配置Linux内核:
(a)make config:基于命令行以遍历的方式去配置内核中可配置的每个选项。
(b)make menuconfig:基于curses的文本窗口界面。
(c)make gconfig:基于GTK (GNOME)环境窗口界面。
(d)make xconfig:基于QT(KDE)环境的窗口界面。
“全新配置”模式进行配置重新生成.config文件的方法:
(a)make defconfig:基于本机内核为目标平台提供的“默认”配置进行配置。
(b)make allyesconfig: 所有选项均回答为“yes”。
(c)make allnoconfig: 所有选项均回答为"no”。
make defconfig # Default configuration is based on 'x86_64_defconfig'
make menuconfig
# 打开debug相关选项 输入y和n进行选中或取消选中
Kernel hacking --->
Compile-time checks and compiler options --->
[*] Compile the kernel with debug info
[*] Provide GDB scripts for kernel debugging
[*] Kernel debugging
# 关闭KASLR,否则会导致打断点失败
Processor type and features ---->
[] Randomize the address of the kernel image (KASLR)
(5)编译和运行内核
make -j$(nproc) # nproc gives the number of CPU cores/threads available
#测试一下内核能不能正常加载运行,因为没有文件系统最终会kernel panic
qemu-system-x86_64 -kernel arch/x86/boot/bzImage
(6)制作根文件系统
电脑加电启动首先由bootloader加载内核,内核紧接着需要挂载内存根文件系统,其中包含必要的设备驱动和工具,bootloader加载根文件系统到内存中,内核会将其挂载到根目录/下,然后运行根文件系统中init脚本执行一些启动任务,最后才挂载真正的磁盘根文件系统。我们这里为了简化实验环境,仅制作内存根文件系统。这里借助BusyBox 构建极简内存根文件系统,提供基本的用户态可执行程序。
首先从https://www.busybox.net下载 busybox源代码解压,解压完成后,跟内核一样先配置编译,并安装。
axel -n 20 https://busybox.net/downloads/busybox-1.31.1.tar.bz2
tar -jxvf busybox-1.31.1.tar.bz2
cd busybox-1.31.1
make menuconfig
# 记得要编译成静态链接,不用动态链接库
Settings --->
[*] Build static binary (no shared libs)
(7)编译安装
默认会安装到源码目录下的 _install 目录中。
make -j$(nproc) && make install
(8)制作内存根文件系统镜像
mkdir rootfs
cd rootfs
cp ../busybox-1.31.1/_install/* ./ -rf
mkdir dev proc sys home
sudo cp -a /dev/{null,console,tty,tty1,tty2,tty3,tty4} dev/
准备init脚本文件放在根文件系统跟目录下(rootfs/init),添加如下内容到init文件。
#!/bin/sh
mount -t proc none /proc
mount -t sysfs none /sys
echo "--------------------"
echo "Wellcome to your OS!"
echo "--------------------"
cd home
/bin/sh
给init脚本添加可执行权限
chmod +x init
打包成内存根文件系统镜像
find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../rootfs.cpio.gz
测试挂载根文件系统,看内核启动完成后是否执行init脚本
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz
(9)使用gdb跟踪调试Linux内核
使用gdb跟踪调试内核,加两个参数,一个是-s,在TCP 1234端口上创建了一个gdb-server。可以另外打开一个窗口,用gdb把带有符号表的内核镜像vmlinux加载进来,然后连接gdb server,设置断点跟踪内核。若不想使用1234端口,可以使用-gdb tcp:xxxx来替代-s选项),另一个是-S代表启动时暂停虚拟机,等待 gdb 执行 continue指令(可以简写为c)。
跟踪调试Linux内核的基本方法
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s
#纯命令行下启动虚拟机
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s -nographic -append "console=ttyS0"
-S和-s选项:
# -S freeze CPU at startup (use ’c’ to start execution)
# -s shorthand for -gdb tcp::1234
若不想使用1234端口,则可以使用-gdb tcp:xxxx来取代-s选项
用以上命令先启动,然后可以看到虚拟机一启动就暂停了。加-nographic -append "console=ttyS0"参数启动不会弹出QEMU虚拟机窗口,可以在纯命令行下启动虚拟机,此时可以通过“killall qemu-system-x86_64”命令强行关闭虚拟机。
再打开一个窗口,启动gdb,把内核符号表加载进来,建立连接:
cd linux-5.4.34/
gdb vmlinux
(gdb) target remote:1234
(gdb) b start_kernel
c、bt、list、next、step....
跟踪分析Linux内核的启动过程
内核源码目录解读
- arch : 计算机的体系结构–Linux系统能跑在不同类型CPU的关键
- block : 部分块设备驱动程序
- crypto : 加密、压缩、CRC校验算法
- Documentation : 内核的文档
- drivers : 设备驱动程序,如字符设备、块设备、SCSI设备等
- fs : fs是指文件系统(file system),里面列出了Linux支持的各种文件系统的实现
- include : 内核所需要的公共的头文件,包括各种体系结构共用的头文件。
而模块内部的头文件放在各自模块内部,比如ARM架构特有的一些头文件在arch/arm/include目录及其子目录下。 - init : 内核初始化代码,init目录中的main.c源文件负责整个Linux内核启动,而main.c源文件中的start_kernel函数是Linux内核启动过程的起点,
- ipc : 进程间通信代码,IPC就是进程间通信(inter-process communication)
- kernel : Linux大多数关键的核心功能都在此目录实现的
- lib : 公用的库文件,里面是一些公用的库函数。在内核编程中不能用C语言标准库函数,这里用来替代C语言标准库函数。
譬如把字符串转成数字要用atoi函数,但是内核编程中只能用lib目录下的atoi函数,不能用标准C语言库中的atoi函数。
譬如在内核中要打印信息时不能用printf,而要用printk,这个printk就是lib目录下的。 - mm : 实现内存管理,mm是memory management,即内存管理
- net : 网络协议的实现代码,比如TCP/IP协议栈等
- samples : 一些内核编程的范例
- scripts: 配置内核的脚本
- security : SElinux的模块
- sound : 音频设备的驱动程序
- usr : cpio命令实现
-virt : 内核虚拟机
Linux内核分析中比较重要的是arch目录下的x86目录下的源文件、init目录下的main.c、kernel目录下和进程调度相关的代码等,其他还有内存管理mm、网络net、文件系统fs等代码。
内核启动过程分析
1、start_kernel() 静态创建 0号进程 init_task
2、res_init() -----》kernel_thread() - fork 1号进程 -----》 kernel_init() -----》 run_init_process() -----》 do_execve()
3、kernel_thread() - 2号进程 kthreadd
要弄清楚Linux内核从哪里开始执行的,有一个关键目录是init目录,内核启动相关的代码都在这个目录下。在init目录下有main.c源文件。普通C代码程序是从main函数开始运行的,C程序的阅读一般也从main函数开始。init目录中的main.c源文件是整个Linux内核启动的起点,但它的起点不是main函数,而是main.c源文件中的start_kernel函数,start_kernel函数是初始化Linux内核启动的起点,start_kernel前的代码使用汇编语言来进行硬件初始化。
start_kernel() /linux-5.4.34/init/main.c(576行)
全局变量init_task,即手工创建的(0号进程的)PCB,0号进程即最终的idle进程
init_task进程在Linux中属于一个比较特殊的进程,它是内核开发者人为制造出来的,而不是其他进程通过do_fork来完成,init_task进程的内核栈通过静态方式分配
1)lockdep_init():初始化内核依赖关系表,初始化hash表
2)boot_init_stack_canary():为栈增加保护机制,预防一些缓冲区溢出之类的攻击
3)tick_init():初始化内核时钟系统
4)boot_cpu_init():激活当前CPU
5)setup_arch():对不同体系结构的CPU设置不同的参数、选项等
6)trap_init():初始化硬件中断,函数中设置了很多中断门
7)mm_init():建立内核的内存分配器
8)sched_init():初始化任务调度
9)init_IRQ():中断向量的初始化
10)set_intr_gate,设置了很多中断门
11)set_system_trap_gate,设置系统陷阱门,系统调用
….
rest_init():Linux内核初始化的尾声,做了很多剩下的初始化工作。
从rest_init开始,Linux开始产生进程,因为init_task是静态制造出来的,pid=0,它试图将从最早的汇编代码一直到start_kernel的执行都纳入到init_task进程上下文中。在rest_init函数中,内核将通过下面的代码产生第一个真正的进程(pid=1)
kernel_thread():创建一个内核线程,实际上就是内核进程,Linux内核是不支持类似Windows NT一样的线程概念的。Linux本质上只支持进程。这里的kernel_init只是一个函数
kernel_init():/linux-5.4.34/init/main.c(1106行)会通过调用do_execve来执行根文件系统下的/sbin/init文件(所以此前根文件系统必须已经就绪),do_execve对用户空间程序/sbin/init的调用发起自int $0x80,这是个从内核空间发起的系统调用
run_init_process():实际上是通过嵌入汇编构建一个类似用户态代码一样的do_execve()调用,其参数就是要执行的可执行文件名,也就是这里的init进程在磁盘上的文件
这里的run_init_process就是通过execve()来运行init程序。这里首先运行“/sbin/init”,如果失败再运行“/etc/init”,然后是 “/bin/init”,然后是“/bin/sh”(也就是说,init可执行文件可以放在上面代码中寻找的4个目录中都可以),如果都失败,则可以通过在系统启动时再添加的启动参数来指定init,比如init=/home/rootfs/init。这里是内核初始化结束并开始用户态初始化的阴阳界
init进程是Linux系统的第一个用户态进程,为1号进程,没有父进程,由Linux内核直接启动
接下来还创建了一个kthreadd内核线程,来管理系统的资源
此时init_task的任务基本上已经完全结束了,它将沦落为一个idle task,事实上在更早前的sched_init()函数中,通过init_idle(current, smp_processor_id())函数的调用就已经把init_task初始化成了一个idle task,init_idle函数的第一个参current就是&init_task,在init_idle中将会把init_task加入到cpu的运行队列中,这样当运行队列中没有别的就绪进程时,init_task(也就是idle task)将会被调用,它的核心是一个while(1)循环,在循环中它将会调用schedule函数以便在运行队列中有新进程加入时切换到该新进程上
以上内核启动过程分析均来自:https://www.jianshu.com/p/6d3ae604b4cf
其他参考链接:https://blog.csdn.net/Lansing999/article/details/50860325
http://blog.chinaunix.net/uid-24219701-id-2843452.html