Linux-lab4 以time/gettimeofday系统调用为例分析ARM64 Linux 5.4.34
一、环境搭建
基本环境:
操作系统:Ubuntu 18.04
调试内核:Linux 5.4.35
1.1 qemu安装
在调试内核时,QEMU可以模拟一个虚拟机环境,使得开发者可以在虚拟机中运行内核,并且可以使用GDB等调试工具对内核进行调试。
使用如下命令下载并解压安装指定版本的qemu:
sudo apt-get install build-essential zlib1g-dev pkg-config libglib2.0-dev binutils-dev libboost-all-dev autoconf libtool libssl-dev libpixman-1-dev
wget https://download.qemu.org/qemu-4.2.1.tar.xz
tar xvJf qemu-4.2.1.tar.xz
cd qemu-4.2.1
./configure --target-list=x86_64-softmmu,x86_64-linux-user,arm-softmmu,arm-linux-user,aarch64-softmmu,aarch64-linux-user --enable-kvm
make
sudo make install
1.2 配置ARM64环境
使用如下命令安装gcc-aarch64-linux-gnu、libncurses5-dev、build-essential、git、bison、flex和gdb-multiarch;
- gcc-aarch64-linux-gnu是交叉编译工具链,可以用于编译ARM64架构的程序;
- libncurses5-dev是ncurses库的开发文件,可以用于开发基于ncurses库的程序;
- build-essential是一组编译工具,包括gcc、g++、make等;git是版本控制工具;
- bison和flex是用于生成解析器和词法分析器的工具;
- gdb-multiarch是支持多种架构的GDB调试器。
sudo apt-get install gcc-aarch64-linux-gnu
sudo apt-get install libncurses5-dev build-essential git bison flex libssl-dev
sudo apt install gdb-multiarch
1.3 配置内核编译选项
按照如下命令配置内核编译的选项;
- Compile the kernel with debug info选项会在编译内核时加入调试信息;
- Provide GDB scripts for kernel debugging选项会提供一些GDB脚本以便于内核调试;
- Kernel debugging选项会开启内核调试功能。
- 而关闭KASLR选项是为了避免内核地址空间随机化导致的调试问题。
make defconfig ARCH=arm64
make menuconfig ARCH=arm64
#完成如下更改
Kernel hacking --->
Compile-time checks and compiler options --->
[*] Compile the kernel with debug info
[*] Provide GDB scripts for kernel debugging
[*] Kernel debugging
Processor type and features ---->
[] Randomize the address of the kernel image (KASLR)
# 更改后进行编译
export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make Image -j$(nproc)
1.4 制作根文件系统
- 先下载BusyBox并安装,需要通过其它工具与新编译的Linux内核交互。在内核调试中,BusyBox可以提供一些常用的命令和工具,如ls、cat、echo等,方便进行调试。
# 下载并解压指定版本的busybox
wget https://busybox.net/downloads/busybox-1.36.0.tar.bz2
tar -jxvf busybox-1.36.0.tar.bz2
cd busybox-1.36.0
# 配置编译选项
export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make menuconfig
Settings --->
[*] Build static binary (no shared libs)
# 开始编译
make -j$(nproc) && make install
2. 制作根文件系统并编译
mkdir rootfs
cd rootfs
cp ../busybox-1.36.0/_install/* ./ -rf
mkdir dev proc sys home
sudo cp -a /dev/{null,console,tty,tty1,tty2,tty3,tty4} dev/
3. 在/rootfs下添加如下的init脚本
挂载proc和sysfs文件系统,并输出一些信息。其中,mount命令用于挂载文件系统,-t选项指定文件系统类型,none表示不需要设备;echo命令用于输出信息;/bin/sh命令用于启动一个新的shell进程。
#!/bin/sh
mount -t proc none /proc
mount -t sysfs none /sys
echo "Wellcome TryOS!"
echo "--------------------"
cd home
/bin/sh
加上权限并打包成镜像文件存储于rootfs同级目录下
chmod +x init
find . -print0 | cpio --null -ov --format=newc | gzip -9 > ~/linux_lab4/rootfs.cpio.gz
4. 启动内核
qemu-system-aarch64 -m 128M -smp 1 -cpu cortex-a57 -machine virt -kernel ~/linux_lab4/linux-5.4.34/arch/arm64/boot/Image -initrd ~/linux_lab4/rootfs.cpio.gz -append "rdinit=/init console=ttyAMA0 loglevel=8" -nographic -s
二、系统调用
2.1 使用内嵌汇编触发系统调用
创建test.c文件如下:
#include <stdio.h>
#include <time.h>
#include <sys/time.h>
int main()
{
time_t tt;
struct timeval tv;
struct tm *t;
#if 0
gettimeofday(&tv,NULL); // 使用库函数的方式触发系统调用
#else
asm volatile( // 使用内嵌汇编的方式触发系统调用
"add x0, x29, 16\n\t" //X0寄存器用于传递参数&tv
"mov x1, #0x0\n\t" //X1寄存器用于传递参数NULL
"mov x8, #0xa9\n\t" //使用X8传递系统调用号169
"svc #0x0\n\t" //触发系统调用
);
#endif
tt = tv.tv_sec; //tv是保存获取时间结果的结构体
t = localtime(&tt); //将世纪秒转换成对应的年月日时分秒
printf("time: %d/%d/%d %d:%d:%d\n",
t->tm_year + 1900,
t->tm_mon,
t->tm_mday,
t->tm_hour,
t->tm_min,
t->tm_sec);
return 0;
}
该代码用于获取当前系统事件并输出;代码中使用了两种方式触发系统调用:
- 使用库函数gettimeofday(),
- 使用内嵌汇编方式触发系统调用。
最后使用printf()输出获取的时间,使用上述代码能够触发系统调用,打断点进入调试状态;
将上述代码编译后生成镜像文件并在linux内核的目录下运行python脚本
aarch64-linux-gnu-gcc -o test test.c -static
find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../rootfs.cpio.gz
python3 ./scripts/gen_compile_commands.py
2.2 创建vscode项目配置文件
1. 创建c_cpp_properties.json
{
"configurations": [
{
"name": "Linux",
"includePath": [
"${workspaceFolder}/arch/x86/include/**",
"${workspaceFolder}/include/**",
"${workspaceFolder}/include/linux/**",
"${workspaceFolder}/arch/x86/**",
"${workspaceFolder}/**"
],
"cStandard": "c11",
"intelliSenseMode": "gcc-x64",
"compileCommands": "${workspaceFolder}/compile_commands.json"
}
],
"version": 4
}
2. 创建launch.json
{
"version": "0.2.0",
"configurations": [
{
"name": "(gdb) linux",
"type": "cppdbg",
"request": "launch",
"preLaunchTask": "vm",
"program": "${workspaceRoot}/vmlinux",
"miDebuggerPath":"/usr/bin/gdb-multiarch",
"miDebuggerServerAddress": "localhost:1234",
"args": [],
"stopAtEntry": true,
"cwd": "${workspaceFolder}",
"environment": [],
"externalConsole": false,
"MIMode": "gdb",
"miDebuggerArgs": "-n",
"targetArchitecture": "x64",
"setupCommands": [
{
"text": "dir .",
"ignoreFailures": false
},
{
"text": "add-auto-load-safe-path ./",
"ignoreFailures": false
},
{
"text": "-enable-pretty-printing",
"ignoreFailures": true
}
]
}
]
}
3. 创建settings.json
{
"search.exclude": {
"**/.git": true,
"**/.svn": true,
"**/.DS_Store": true,
"**/drivers": true,
"**/sound": true,
"**/tools": true,
"**/arch/alpha": true,
"**/arch/arc": true,
"**/arch/c6x": true,
"**/arch/h8300": true,
"**/arch/hexagon": true,
"**/arch/ia64": true,
"**/arch/m32r": true,
"**/arch/m68k": true,
"**/arch/microblaze": true,
"**/arch/mn10300": true,
"**/arch/nds32": true,
"**/arch/nios2": true,
"**/arch/parisc": true,
"**/arch/powerpc": true,
"**/arch/s390": true,
"**/arch/sparc": true,
"**/arch/score": true,
"**/arch/sh": true,
"**/arch/um": true,
"**/arch/unicore32": true,
"**/arch/xtensa": true
},
"files.exclude": {
"**/.*.*.cmd": true,
"**/.*.d": true,
"**/.*.o": true,
"**/.*.S": true,
"**/.git": true,
"**/.svn": true,
"**/.DS_Store": true,
"**/drivers": true,
"**/sound": true,
"**/tools": true,
"**/arch/alpha": true,
"**/arch/arc": true,
"**/arch/c6x": true,
"**/arch/h8300": true,
"**/arch/hexagon": true,
"**/arch/ia64": true,
"**/arch/m32r": true,
"**/arch/m68k": true,
"**/arch/microblaze": true,
"**/arch/mn10300": true,
"**/arch/nds32": true,
"**/arch/nios2": true,
"**/arch/parisc": true,
"**/arch/powerpc": true,
"**/arch/s390": true,
"**/arch/sparc": true,
"**/arch/score": true,
"**/arch/sh": true,
"**/arch/um": true,
"**/arch/unicore32": true,
"**/arch/xtensa": true
},
"[c]": {
"editor.detectIndentation": false,
"editor.tabSize": 8,
"editor.insertSpaces": false
},
"C_Cpp.errorSquiggles": "disabled"
}
4. 创建task.json
{
"version": "2.0.0",
"tasks": [
{
"label": "vm",
"type": "shell",
"command": "qemu-system-aarch64 -m 128M -smp 1 -cpu cortex-a57 -machine virt -kernel arch/arm64/boot/Image -initrd ~/linux_lab4/rootfs.cpio.gz -append \"rdinit=/init console=ttyAMA0 loglevel=8\" -nographic -s",
"presentation": {
"echo": true,
"clear": true,
"group": "vm"
},
"isBackground": true,
"problemMatcher": [
{
"pattern": [
{
"regexp": ".",
"file": 1,
"location": 2,
"message": 3
}
],
"background": {
"activeOnStart": true,
"beginsPattern": ".",
"endsPattern": ".",
}
}
]
},
{
"label": "build linux",
"type": "shell",
"command": "make",
"group": {
"kind": "build",
"isDefault": true
},
"presentation": {
"echo": false,
"group": "build"
}
}
]
}
三、调试分析代码
3.1 运行test代码
运行test代码后成功进入调试状态,程序在断点处停下
3.2 分析执行过程
查看上述调用堆栈可知,gettimeofday系统调用在内核中的执行经历了如下步骤:
- 首先由el0_sync根据异常发生的原因跳转到 el0_svc,然后由el0_svc 调用 el0_svc_handler、el0_svc_common 函数,将 X8 寄存器中存放的系统调用号传递给 invoke_syscall 函数。
- 随后执行invoke_syscall函数,将通用寄存器中的内容传入 syscall_fn(),引出系统调用内核处理函数 __arm64_sys_gettimeofday。系统调用内核处理函数执行完成后,将系统调用的返回值存放在 X0 寄存器中
- 在系统调用返回前,需要恢复异常发生时程序的执行现场,包括恢复ELR_EL1和SPSR_EL1的值。因为异常会发生嵌套,一旦发生异常嵌套,ELR_EL1和SPSR_EL1的值就会随之发生改变。最后内核调用异常返回指令eret,CPU硬件把ELR_EL1写回PC,把SPSR_EL1写回PSTATE,返回用户态继续执行用户态程序。这部分操作由ret_to_user函数中的kernel_exit 0完成。