linux操作系统分析学习总结

本博客总结中科大孟宁和李春杰开设的linux操作系统分析课程的学习成果。包括学习收获和两次实验的实验报告。

1. 学习收获

​ 首先，这门课学习了x86和ARM64指令集架构，具体包括寄存器布局和指令集。宏观上，孟宁老师从PC端和移动端生态系统的角度，讲解了不同指令集架构的历史和现状，对初学者整体思维的形成很有帮助。具体来看，这门课通过实际的代码讲解了ISA的寄存器、寻址方式、常用指令、堆栈操作等，同时，我在课下自学了RISV-V的寄存器布局和堆栈操作，完成了对RISC-V具体代码的堆栈分析。

​ 现在来回顾一下x86和ARM64的区别。

• 对于x86体系结构的指令集来说，大多数指令可以直接访问内存。而ARM64中知云str/ldr及其变种指令可以访问内存。

• x86指令变长，ARM64指令固定32bit。但是，现在不能简单的将x86当作CISC，将ARM64当作RISC。

• x86和ARM64中的指令指针寄存器都不能直接被修改，智能被一些跳转指令修改，如x86中的call、ret、jmp等，ARM64中的b、bl、blr、ret等，编译器将C语言中的函数调用、return和if-else语句等映射为这些语句。

• 在x86平台上，硬盘是挂在IDE，SATA等设备总线上的，不是直接挂在总线上的，保存在硬盘上的程序是不能被CPU直接取指令执行，操作系统在执行程序时会把它从硬盘拷贝到内存，这样CPU才能取指令执行，这个过程叫加载。程序加载到内存之后，成为操作系统调度执行的一个任务，就称为进程。操作系统本身也是一段保存在磁盘上的程序，计算机在启动时执行一段固定的启动代码，首先把OS从磁盘加载到内存，然后执行OS中的代码把用户需要的其他程序加载到内存。

​ 另外让我印象深刻的是，这门课细致的讲解了linux操作系统中中断的具体流程。和考研期间学习操作系统中了解到的中断流程不同，在这门课上，李春杰老师从硬件和软件的角度细致的讲解了中断的流程，包括底层的数据结构和函数源码，这让我明白，中断响应时不是简单的向设备发出信号就可以了。这里给出我自己学到的中断处理过程。

• 首先介绍中断相关的数据结构
  • 中断描述符表IDT。存放着中断向量对应的中断入口程序的地址。
  • 中断请求描述数组irq_desc。这是一个结构体数组，存放每个中断的描述结构，包括对应的硬件相关的信息chip和与该中断共享irq的所有设备的服务例程action。
  • irqaction。这是一个结构体链表。用来实现IRQ的共享，因为一个IRQ线上可能有多个设备，所以一个中断服务程序上有多个中断服务例程，所有共享一个IRQ线的action连接在一个链表上，每个action代表一个例程。
  • irqchip。该中断相关的硬件信息。
• 内核启动中断前，必须先初始化IDT，然后将IDT的基地址装载到IDTR寄存器中。初始化的过程，中断门、系统门和陷阱门有对应的初始化函数。
• 中断处理前，首先要保存现场，在内核态堆栈保存IRQ的值和CPU中寄存器的内容。
• CPU响应PIC，告诉PIC已经开始处理当前中断，这样PIC就可以继续响应其他中断。
• 执行do_IRQ，这个函数的作用是：根据中断号找到irq_desc中的对应项，根据该项中的中断入口函数执行对应的例程（因为一个IRQ线上可能有多个设备，所以这里是一串例程，由irqaction决定）。然后执行某个例程的中断处理函数。
• 中断返回时，需要恢复现场，要注意当前中断是从用户态进入的还是内核态进入的，前者涉及堆栈的切换。

2. 课程实验

2.1 实验一：mykernel

实验目的：搭建虚拟的x86-64 CPU实验平台mykernel

实验环境：VMware+Ubuntu1804

详细步骤：

//下载孟宁老师的mykernel2.0补丁
wget https://raw.github.com/mengning/mykernel/master/mykernel-2.0_for_linux-5.4.34.patch 

//安装axel工具
sudo apt install axel

//下载linux-5.4.34内核源码
axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz

//解压
xz -d linux-5.4.34.tar.xz
tar -xvf linux-5.4.34.tar

//进入linux内核源码目录，进行后续操作
cd linux-5.4.34
//patch一下补丁，可以看到哪些文件被更改了
patch -p1 < ../mykernel-2.0_for_linux-5.4.34.patch

//安装调试工具
sudo apt install build-essential gcc-multilib
sudo apt install qemu # install QEMU
sudo apt install libncurses5-dev bison flex libssl-dev libelf-dev

//配置文件
make defconfig # Default configuration is based on 'x86_64_defconfig'
//编译，需要五分钟左右时间，make -j2（核数）
make -j$(nproc)

qemu-system-x86_64 -kernel arch/x86/boot/bzImage

在qemu窗口可以看到my_start_kernel在执行，同时my_timer_handler时钟中断处理程序周期性执行。

实验中遇到的问题

下载补丁后，patch的时候报如下错误：

发现是下载的补丁包有问题，找同学要了一份，替换之后再patch，成功。

2.2 实验二：debug mykernel

（1）安装开发工具

• 安装vscode在官网https://code.visualstudio.com/Download下载并安装，注意，ubuntu下要下载.deb后缀的文件哦

• 还要安装VSCode插件C/C++ Intellisense和C/C++ Themes。由于插件C/C++ Intellisense需要GNU Global，还需要使用如下命令安装GNU Global。

sudo apt install global

• 修改VScode的配置文件c_cpp_properties.json使得VSCode能自动搜索跳转到函数定义了，阅读代码会方便很多。由于Linux内核代码非常庞大，为加速搜索速度还可以设置排除一些干扰文件，比如修改配置文件settings.json

​ 配置文件的路径是home/butterfly/.config/Code/User/seetings.json。配置文件参见https://github.com/mengning/linuxkernel/tree/master/src/kerneldebuging

• 安装调试工具

sudo apt install build-essential gcc-multilib
sudo apt install qemu # install QEMU
sudo apt install libncurses5-dev bison flex libssl-dev libelf-dev

（2）下载内核源代码

sudo apt install axel

axel -n 20 https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.34.tar.xz

xz -d linux-5.4.34.tar.xz

tar -xvf linux-5.4.34.tar

cd linux-5.4.34

由于 Linux 内核高度定制化，所以没有办法直接通过配置 includePath 等让 Intellisense 正常提示，这里借助一个 Python 脚本来生成 compile_commands.json 文件帮助 Intellisense 正常提示（包括头文件和宏定义等）。在Linux源代码目录下直接运行如下命令就可以生成 compile_commands.json 了。

python ./scripts/gen_compile_commands.py

//如果没有安装python，使用如下命令即可
sudo apt install python

（3）配置内核选项

make defconfig # Default configuration is based on 'x86_64_defconfig'

make menuconfig #打开debug相关选项

Kernel hacking —>
Compile-time checks and compiler options —>
[*] Compile the kernel with debug info
[*] Provide GDB scripts for kernel debugging
[*] Kernel debugging

# 关闭KASLR，否则会导致打断点失败

Processor type and features ---->
[] Randomize the address of the kernel image (KASLR)

（4）make [-j #] 编译内核

make -j$(nproc) # nproc 是核数   make -j2
# 测试一下内核能不能正常加载运行，因为没有文件系统最终会kernel panic
qemu-system-x86_64 -kernel arch/x86/boot/bzImage

（5）生成initramfs根文件系统镜像，也习惯于命名为rootfs

​ 电脑加电启动首先由bootloader加载内核，内核紧接着需要挂载内存根文件系统，其中包含必要的设备驱动和工具，bootloader加载根文件系统到内存中，内核会将其挂载到根目录/下，然后运行根文件系统中init脚本执行一些启动任务，最后才挂载真正的磁盘根文件系统。
​ 我们这里为了简化实验环境，仅制作内存根文件系统。这里借助BusyBox 构建极简内存根文件系统，提供基本的用户态可执行程序。

​ 首先从https://www.busybox.net下载 busybox源代码解压，解压完成后，跟内核一样先配置编译，并安装。

axel -n 20 https://busybox.net/downloads/busybox-1.31.1.tar.bz2

tar -jxvf busybox-1.31.1.tar.bz2

cd busybox-1.31.1

make menuconfig
# 记得要编译成静态链接，不用动态链接库。
Settings  --->
    [*] Build static binary (no shared libs)
    
# 然后编译安装，默认会安装到源码目录下的 _install 目录中。
make -j$(nproc) && make install

# 然后制作内存根文件系统镜像，大致过程如下：
mkdir rootfs

cd rootfs

cp ../_install/* ./ -rf

mkdir dev proc sys home

sudo cp -a /dev/{null,console,tty,tty1,tty2,tty3,tty4} dev/

# 准备init脚本文件放在根文件系统跟目录下（rootfs/init）
touch init

#添加如下内容到init文件。

#!/bin/sh
mount -t proc none /proc
mount -t sysfs none /sys
echo "Wellcome MengningOS!"
echo "--------------------"
cd home
/bin/sh

给init脚本添加可执行权限
chmod +x init

打包成内存根文件系统镜像
find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../rootfs.cpio.gz 

测试挂载根文件系统，看内核启动完成后是否执行init脚本
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz

（6）命令行debug linux kernel

​ 下面具体看看如何使用gdb跟踪调试Linux内核。使用gdb跟踪调试内核，加两个参数，一个是-s，在TCP 1234端口上创建了一个gdb-server。可以另外打开一个窗口，用gdb把带有符号表的内核镜像vmlinux加载进来，然后连接gdb server，设置断点跟踪内核。若不想使用1234端口，可以使用-gdb tcp:xxxx来替代-s选项），另一个是-S代表启动时暂停虚拟机，等待 gdb 执行 continue指令（可以简写为c）。

# 纯命令行下启动虚拟机
qemu-system-x86_64 -kernel linux-5.4.34/arch/x86/boot/bzImage -initrd rootfs.cpio.gz -S -s -nographic -append "console=ttyS0"

​ 用以上命令先启动，然后可以看到虚拟机一启动就暂停了。加-nographic -append "console=ttyS0"参数启动不会弹出QEMU虚拟机窗口，可以在纯命令行下启动虚拟机，此时可以通过“killall qemu-system-x86_64”命令强行关闭虚拟机。

​ 再打开一个窗口，启动gdb，把内核符号表加载进来，建立连接：

cd linux-5.4.34/

gdb vmlinux

(gdb) target remote:1234

(gdb) b start_kernel

c、bt、list、next、step....

（7）VScode debug linux kernel

配置.vscode/tasks.json和.vscode/launch.json。配置文件参见https://github.com/mengning/linuxkernel/tree/master/src/kerneldebuging，修改方法示例：

此时将断点设在init/main.c中的start_kernel函数中，然后Qemu 开启GDB调试，vscode start debug即可开始调试内核。

参考资料

《庖丁解牛Linux操作系统分析》 孟宁
https://gitee.com/mengning997/linuxkernel