以time/gettimeofday系统调用为例分析ARM64 Linux 5.4.34

步骤一：实验准备

一、安装编译工具链

首先，由于个人电脑几乎都是使用基于 x86 架构的处理器，要编译和调试 ARM64 环境，必须安装交叉编译工具链和跨平台版 gdb，命令如下：

sudo apt-get install gcc-aarch64-linux-gnu

sudo apt-get install libncurses5-dev  build-essential git bison flex libssl-dev

sudo apt install gdb-multiarch

二、制作根文件系统

linux的启动需要配合根文件系统，这里我们利用busybox来制作一个简单的根文件系统

cd linux_lab

#下载busybox
wget  https://busybox.net/downloads/busybox-1.33.1.tar.bz2

extract busybox-1.33.1.tar.bz2

cd busybox-1.33.1

打开静态库编译选项

make menuconfig

Settings --->
 [*] Build static binary (no shared libs) 

指定编译工具后编译

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-

#编译
make

make install

 在根目录添加etc、dev和lib目录

cd _install

mkdir etc dev lib

在etc分别创建文件：profile、inittab、fstab、init.d/rcS：

1. busybox 作为 linuxrc 启动后， 会读取 /etc/profile, 这里面设置了一些环境变量和 shell 的属性
2. 根据 /etc/fstab 提供的挂载信息， 进行文件系统的挂载
3. busybox 会从 /etc/inittab 中读取 sysinit 并执行， 这里 sysinit 指向了 /etc/init.d/rcS
4. /etc/init.d/rcS 中 ，mdev -s 这条命令扫描 /sys 目录，查找字符设备和块设备，并在 /dev下 mknod

code profile


#在profile文件上添加以下内容
#!/bin/sh
export HOSTNAME=imingz
export USER=root
export HOME=/home
export PS1="[$USER@$HOSTNAME \W]\# "
PATH=/bin:/sbin:/usr/bin:/usr/sbin
LD_LIBRARY_PATH=/lib:/usr/lib:$LD_LIBRARY_PATH
export PATH LD_LIBRARY_PATH

code inittab


#inittab文件添加以下内容
::sysinit:/etc/init.d/rcS
::respawn:-/bin/sh
::askfirst:-/bin/sh
::ctrlaltdel:/bin/umount -a -r

code fstab


#fstab文件写以下内容
#device  mount-point    type     options   dump   fsck order
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0
tmpfs /dev tmpfs defaults 0 0
debugfs /sys/kernel/debug debugfs defaults 0 0
kmod_mount /mnt 9p trans=virtio 0 0

mkdir -p init.d

code init.d/rcS



#编写以下内容
mkdir -p /sys
mkdir -p /tmp
mkdir -p /proc
mkdir -p /mnt
/bin/mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
echo /sbin/mdev > /proc/sys/kernel/hotplug
mdev -s

dev：将用户态的输出打印到串口上

sudo mknod console c 5 1

lib：拷贝lib库，支持动态编译的应用程序运行：

cp /usr/aarch64-linux-gnu/lib/*.so*  -a .

三、编译内核

linux内核源码使用lab3下载的

make defconfig ARCH=arm64

code .config



#将下面的配置加入.config文件下面
CONFIG_DEBUG_INFO=y  #是为了方便调试
CONFIG_INITRAMFS_SOURCE="./root"  
#是指定 kernel ramdisk 的位置，这样指定之后 ramdisk 会直接被编译到 kernel 镜像中。
CONFIG_INITRAMFS_ROOT_UID=0
CONFIG_INITRAMFS_ROOT_GID=0

将之前制作好的根文件系统cp到root目录下

cp -r ../busybox-1.33.1/_install root

sudo mknod root/dev/console c 5 1

执行编译

make ARCH=arm64 Image -j8  CROSS_COMPILE=aarch64-linux-gnu-

启动qemu

sudo apt install build-essential zlib1g-dev pkg-config libglib2.0-dev binutils-dev libboost-all-dev autoconf libtool libssl-dev libpixman-1-dev libpython-dev python-pip python-capstone virtualenv

#如果没下载，那么先下载
wget https://download.qemu.org/qemu-4.2.1.tar.xz

extract qemu-4.2.1.tar.xz

cd qemu-4.2.1

./configure --target-list=x86_64-softmmu,x86_64-linux-user,arm-softmmu,arm-linux-user,aarch64-softmmu,aarch64-linux-user --enable-kvm

make 

sudo make install

四、启动linux内核

/usr/local/bin/qemu-system-aarch64 -m 512M -smp 4 -cpu cortex-a57 -machine virt -kernel ~/linux_lab/linux-5.4.34/arch/arm64/boot/Image -append "rdinit=/linuxrc nokaslr console=ttyAMA0 loglevel=8" -nographic -s

成功启动Linux后， 串口打印如下：

[    3.154374] registered taskstats version 1
[    3.154752] Loading compiled-in X.509 certificates
[    3.178034] input: gpio-keys as /devices/platform/gpio-keys/input/input0
[    3.185886] rtc-pl031 9010000.pl031: setting system clock to 2023-03-27T12:33:12 UTC (1679920392)
[    3.192638] ALSA device list:
[    3.193262]   No soundcards found.
[    3.200666] uart-pl011 9000000.pl011: no DMA platform data
[    3.605537] Freeing unused kernel memory: 8576K
[    3.608903] Run /linuxrc as init process
can't run '/etc/init.d/rcS': Permission denied

Please press Enter to activate this console. 

步骤二：使用内嵌汇编触发 time/gettimeofday 系统调用

• 在 ARM64 架构下 Linux 系统调用由同步异常 svc 指令触发。当用户态（EL0级）程序调用库函数 xyz() 从而触发系统调用的时候，先把系统调用的参数依次放入X0-X5 这 6 个寄存器（ Linux 系统调用最多有 6 个参数，ARM64 函数调用参数可以使用 X0-X7 这 8 个寄存器），然后把系统调用号放在 X8 寄存器 里，最后执行 svc 指令，CPU 即进入内核态（EL1级）。svc 指令一般会带一个立即数参数，一般是 0x0，但并没有被 Linux 内核使用，而是把系统调用号放到了 X8 寄存器 里。
• gettimeofday 是 C 库提供的函数（不是系统调用），它封装了内核里的sys_gettimeofday 系统调用，就是说，归根到底是系统调用。
• 以 time 系统调用为例，分别使用 C 库函数 和 int $0x80/syscall 和 svc 指令汇编代码触发系统调用。
• C 库函数 time_t time(time_t *seconds) 返回自 1970-01-01 00:00:00（UTC国际时区）起经过的时间，以秒为单位。如果 seconds 不为空，则返回值也存储在变量 seconds 中。
• C库函数 struct tm *localtime(const time_t *timer) 使用 timer 的值来填充 stuct tm 结构体。timer 的值被分解到 stuct tm 结构体中，并用本地时区表示。
• arm64 的 time 系统调用对应的内核函数其实是 __arm64_sys_gettimeofday

查阅 Linux 内核源代码中的 include\uapi\asm-generic\unistd.h 可以找到  gettimeofday 系统调用对应的内核处理函数为 sys_gettimeofday。

 转到 gettimeofday 定义，可以看到

 gettimeofday 函数会把时间包装为 timeval 和 timezone 结构体返回，timeval 中包括秒和微妙值，timezone 中包括时区等信息。gettimeofday 系统调用比 time 系统调用提供的时间信息更多也更精确，timeval 结构体中的 tv_sec 是与 time 系统调用的返回值是相同的，我们这里只需要使用 tv_sec 的值 

 继续往下找可以找到 gettimeofday 系统调用的内核处理函数，代码如下：

 

构造代码

使用内嵌汇编触发 gettimeofday 的用户态 C 语言示例代码如下。

#include <stdio.h>
#include <time.h>
#include <sys/time.h>
 
int main()
{
      time_t tt;
      struct timeval tv;
      struct tm *t;
#if 0
      gettimeofday(&tv,NULL);
#else
      asm volatile(
          "add   x0, x29, 16\n\t"  //X0寄存器用于传递参数&tv
          "mov   x1, #0x0\n\t"     //X1寄存器用于传递参数NULL
          "mov   x8, #0xa9\n\t"   //使用X8传递系统调用号169
          "svc   #0x0\n\t"            //触发系统调用
      );
#endif
      tt = tv.tv_sec;                    //tv是保存获取时间结果的结构体
      t = localtime(&tt);                //将世纪秒转换成对应的年月日时分秒
      printf("time: %d/%d/%d %d:%d:%d\n",
             t->tm_year + 1900,
             t->tm_mon,
             t->tm_mday,
             t->tm_hour,
             t->tm_min,
             t->tm_sec);
      return 0;
}

将上述代码保存为 test.c，运行以下命令将其编译为 ARM64 下的可执行文件。注意要使用静态编译，因为默认的动态链接编译产生的二进制文件并不会有 gettimeofday 系统调用的入口，只有相应的库函数。

调试准备

#把test移动到根文件系统中
mv test root/


#把test.c进行交叉编译
aarch64-linux-gnu-gcc -o test test.c -static


#重新编译下
make ARCH=arm64 Image -j8  CROSS_COMPILE=aarch64-linux-gnu-

跟踪分析该系统调用的内核处理函数

在 VSCode 中启动调试。首先在窗口左下角的断点设置处新增断点 __arm64_sys_gettimeofday（32 位 ARM 下是 sys_gettimeofday，注意不要搞错了），再在终端中执行 test。

点击开始调试，执行编译好的程序

用户态程序执行 svc 指令，CPU 会把当前程序指针寄存器 PC 放入 ELR_EL1 寄存器里，把 PSTATE 放入 SPSR_EL1 寄存器里，把异常产生的原因（这里是调用了 svc 指令触发系统调用）放在 ESR_EL1 寄存器里。这时 CPU 是知道异常类型和异常向量表的起始地址的，所以可以自动把 VBAR_EL1 寄存器的值（ vectors ），和第3组 Synchronous 的偏移量 0x400 相加，即 vectors + 0x400 ，得出该异常向量空间的入口地址，然后跳转到那里执行异常向量空间里面的指令。每个异常向量空间仅有 128 个字节，最多可以存储 32 条指令（每条指令 4 字节），而且异常向量空间最后一条指令是 b 指令，对于系统调用来说会跳转到 el0_sync ，这样就从异常向量空间跳转同步异常处理程序的入口。

// arch/arm64/kernel/entry.S
/*
 * EL0 mode handlers.
 */
el0_sync:
	kernel_entry 0
	mrs	x25, esr_el1			// read the syndrome register
	lsr	x24, x25, #ESR_ELx_EC_SHIFT	// exception class
	cmp	x24, #ESR_ELx_EC_SVC64		// SVC in 64-bit state
	b.eq	el0_svc
	...
ENDPROC(el0_sync)

 el0_sync 在完成保存现场的工作之后，会根据 ESR_EL1 寄存器确定同步异常产生的原因，同步异常产生的原因很多，在 ARM64 Linux 中最常见的原因是 svc 指令触发了系统调用，所以排在最前面的就是条件判断跳转到 el0_svc ， el0_svc 中主要负责调用C代码的 el0_svc_handler 处理系统调用和 ret_to_user 系统调用返回。

 

 

SYSCALL_DEFINE2 宏定义是将 gettimeofday 系统调用转换为 sys_gettimeofday。这是由一组非常复杂的宏定义实现的

 

系统调用入口的保存现场

// arch/arm64/kernel/entry.S
	.macro	kernel_entry, el, regsize = 64
      ...
	stp	x0, x1, [sp, #16 * 0]
	stp	x2, x3, [sp, #16 * 1]
	...
	stp	x26, x27, [sp, #16 * 13]
	stp	x28, x29, [sp, #16 * 14]
      ...
	mrs	x21, sp_el0
	mrs	x22, elr_el1
	mrs	x23, spsr_el1
      stp	   	lr, x21, [sp, #S_LR]      // lr is x30
      stp		x22, x23, [sp, #S_PC]
      ...
	.endm

在 Linux 系统中系统调用发生时，CPU 会把当前程序指针寄存器 PC 放入 ELR_EL1 寄存器里，把 PSTATE 放入 SPSR_EL1 寄存器里，同时 Linux 系统从用户态切换到内核态（从 EL0 切换到 EL1 ），这时 SP 指的是 SP_EL1 寄存器，用户态堆栈的栈顶地址依然保存在 SP_EL0 寄存器中。也就是说异常（这里是指系统调用）发生时 CPU 的关键状态 sp、pc 和 pstate 分别保存在SP_EL0 、ELR_EL1 和 SPSR_EL1 寄存器中。保存现场的主要工作如上代码所示，是保存 x0-x30 及 sp 、pc 和 pstate，这和 struct pt_regs 数据结构的起始部分正好一一对应。