Linux实验四-以time/gettimeofday系统调用为例分析ARM64 Linux 5.4.34

一、实验准备

安装交叉编译工具链和跨平台版 gdb

 制作根文件系统

利用busybox来制作一个简单的根文件系统。

#编译busybox

wget  https://busybox.net/downloads/busybox-1.33.1.tar.bz2
tar -xjf busybox-1.33.1.tar.bz2
cd busybox-1.33.1

#设置静态库编译选项

make menuconfig
Settings --->
 [*] Build static binary (no shared libs) 

#指定编译工具

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-

#编译，在busybox目录下生成_install目录

make
make install

编译内核

配置内核

make defconfig ARCH=arm64
make menuconfig ARCH=arm64

Kernel hacking  --->
    Compile-time checks and compiler options  --->
        [*] Compile the kernel with debug info
        [*]   Provide GDB scripts for kernel debugging
    [*] Kernel debugging
Kernel Features ---->
    [] Randomize the address of the kernel image

 执行编译

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-
make Image -j$(nproc) # 这里指定target为Image，只编译kernel不会编译modules，加快编译速度

启动qemu

对qemu进行更改

apt-get install build-essential zlib1g-dev pkg-config libglib2.0-dev binutils-dev libboost-all-dev autoconf libtool libssl-dev libpixman-1-dev libpython-dev python-pip python-capstone virtualenv
wget https://download.qemu.org/qemu-4.2.1.tar.xz
tar xvJf qemu-4.2.1.tar.xz
cd qemu-4.2.1
./configure --target-list=x86_64-softmmu,x86_64-linux-user,arm-softmmu,arm-linux-user,aarch64-softmmu,aarch64-linux-user --enable-kvm
make 
sudo make install

编译完成后可查看：

启动虚拟机的命令也要修改：

qemu-system-aarch64 -m 128M -smp 1 -cpu cortex-a57 -machine virt -kernel linux-5.4.34/arch/arm64/boot/Image -initrd rootfs.cpio.gz -append "rdinit=/init console=ttyAMA0 loglevel=8" -nographic -s

在vs中调试，进行如下配置

更改 .vscode 目录下的 launch.json 和 tasks.json，参考配置如下：

{
  // launch.json
  // Use IntelliSense to learn about possible attributes.
  // Hover to view descriptions of existing attributes.
  // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
  "version": "0.2.0",
  "configurations": [
    {
      "name": "(gdb) linux",
      "type": "cppdbg",
      "request": "launch",
      "preLaunchTask": "vm",
      "program": "${workspaceRoot}/vmlinux",
      "miDebuggerPath":"/usr/bin/gdb-multiarch",
      "miDebuggerServerAddress": "localhost:1234",
      "args": [],
      "stopAtEntry": true,
      "cwd": "${workspaceFolder}",
      "environment": [],
      "externalConsole": false,
      "MIMode": "gdb",
      "miDebuggerArgs": "-n",
      "targetArchitecture": "x64",
      "setupCommands": [
        {
          "text": "dir .",
          "ignoreFailures": false
        },
        {
          "text": "add-auto-load-safe-path ./",
          "ignoreFailures": false
        },
        {
          "text": "-enable-pretty-printing",
          "ignoreFailures": true
        }
      ]
    }
  ]
}

{
    // tasks.json
    // See https://go.microsoft.com/fwlink/?LinkId=733558
    // for the documentation about the tasks.json format
    "version": "2.0.0",
    "tasks": [
      {
        "label": "vm",
        "type": "shell",
        "command": "qemu-system-aarch64 -m 128M -smp 1 -cpu cortex-a57 -machine virt -kernel arch/arm64/boot/Image -initrd ../rootfs-arm.cpio.gz -append \"rdinit=/init console=ttyAMA0 loglevel=8\" -nographic -s",
        "presentation": {
          "echo": true,
          "clear": true,
          "group": "vm"
        },
        "isBackground": true,
        "problemMatcher": [
          {
            "pattern": [
              {
                "regexp": ".",
                "file": 1,
                "location": 2,
                "message": 3
              }
            ],
            "background": {
              "activeOnStart": true,
              "beginsPattern": ".",
              "endsPattern": ".",
            }
          }
        ]
      },
      {
        "label": "build linux",
        "type": "shell",
        "command": "make",
        "group": {
          "kind": "build",
          "isDefault": true
        },
        "presentation": {
          "echo": false,
          "group": "build"
        }
      }
    ]
}

二、使用内嵌汇编触发 time/gettimeofday 系统调用

在rootfs目录下创建test.c文件，文件内容如下：

#include <stdio.h>
#include <time.h>
#include <sys/time.h>
 
int main()
{
      time_t tt;
      struct timeval tv;
      struct tm *t;
#if 0
      gettimeofday(&tv,NULL); // 使用库函数的方式触发系统调用
#else
      asm volatile( // 使用内嵌汇编的方式触发系统调用
          "add   x0, x29, 16\n\t"  //X0寄存器用于传递参数&tv
          "mov   x1, #0x0\n\t"     //X1寄存器用于传递参数NULL
          "mov   x8, #0xa9\n\t"   //使用X8传递系统调用号169
          "svc   #0x0\n\t"            //触发系统调用
      );
#endif
      tt = tv.tv_sec;                    //tv是保存获取时间结果的结构体
      t = localtime(&tt);                //将世纪秒转换成对应的年月日时分秒
      printf("time: %d/%d/%d %d:%d:%d\n",
             t->tm_year + 1900,
             t->tm_mon,
             t->tm_mday,
             t->tm_hour,
             t->tm_min,
             t->tm_sec);
      return 0;
}

 将其编译为 ARM64 下的可执行文件，注意要使用静态编译：

aarch64-linux-gnu-gcc -o test test.c -static

在 VSCode 中启动调试。首先在窗口左下角的断点设置处新增断点 __arm64_sys_gettimeofday，，再在终端中执行 test，可以看到调试器成功在对应的内核函数处停了下来。

 

 三、分析 time/gettimeofday 系统调用的执行过程

通过查看调用堆栈，我们能很容易地分析出 ARM64 下系统调用的执行过程。ARM64 架构下 Linux 系统调用由同步异常 svc 指令触发，当用户态（EL0 级）程序调用库函数 gettimeofday() 从而触发系统调用的时候，先把系统调用的参数依次放入 X0-X5 这 6 个寄存器（Linux 系统调用最多有 6 个参数，ARM64 函数调用参数可以使用 X0-X7 这 8 个寄存器），然后把系统调用号放在 X8 寄存器里，最后执行 svc 指令，CPU 即进入内核态（EL1 级）。本文使用内嵌汇编触发系统调用，我们也编写相应的汇编代码完成了上述过程。

ARM64 架构的 CPU 中，Linux 系统调用（同步异常）和其他异常的处理过程大致相同。异常发生时，CPU 首先把异常的原因（比如执行 svc 指令触发系统调用）放在 ESR_EL1 寄存器里；把当前的处理器状态（PSTATE）放入 SPSR_EL1 寄存器里；把当前程序指针寄存器 PC 的值存入 ELR_EL1 寄存器里（保存断点），然后 CPU 通过异常向量表（vectors）基地址和异常的类型计算出异常处理程序的入口地址，即 VBAR_EL1 寄存器加上偏移量取得异常处理的入口地址，接着开始执行异常处理入口的第一行代码。这一过程是 CPU 硬件自动完成的，不需要程序干预。

随后，以 svc 指令对应的 el0_sync 为例，el0_sync 处的内核汇编代码首先做的就是保存异常发生时程序的执行现场（保存现场，即用户栈、通用寄存器等），然后根据异常发生的原因（ESR_EL1 寄存器中的内容）跳转到 el0_svc，el0_svc 会调用 el0_svc_handler、el0_svc_common 函数，将 X8 寄存器（regs->regs[8]）中存放的系统调用号传递给 invoke_syscall 函数。

 接着执行 invoke_syscall 函数，将通用寄存器中的内容传入 syscall_fn()，引出系统调用内核处理函数 __arm64_sys_gettimeofday

系统调用内核处理函数执行完成后，会将系统调用的返回值存放在 X0 寄存器中。最后内核调用异常返回指令 eret，CPU 硬件把 ELR_EL1 写回 PC，把 SPSR_EL1 写回 PSTATE，返回用户态继续执行用户态程序。