linux lab4：以time/gettimeofday系统调用为例分析ARM64 Linux 5.4.34

准备工作
安装编译工具链

由于Ubuntu是X86架构，为了编译arm64的文件，需要安装交叉编译工具链

sudo apt install gcc-aarch64-linux-gnu

sudo apt install libncurses5-dev  build-essential git bison flex libssl-dev

  

制作根文件系统

linux的启动需要配合根文件系统，这里我们利用busybox来制作一个简单的根文件系统
编译busybox

cd ~/linux_lab/lab4

wget  https://busybox.net/downloads/busybox-1.33.1.tar.bz2

extract busybox-1.33.1.tar.bz2

cd busybox-1.33.1

   

打开静态库编译选项

make menuconfig

    

Settings --->
 [*] Build static binary (no shared libs) 

    
    

指定编译工具

export ARCH=arm64
export CROSS_COMPILE=aarch64-linux-gnu-

    
    

编译

make

make install

    
  
   

编译完成，在busybox目录下生成_install目录
定制文件系统

为了init进程能正常启动， 需要再额外进行一些配置

根目录添加etc、dev和lib目录

cd _install

mkdir etc dev lib

 

etc

在etc分别创建文件：profile、inittab、fstab、init.d/rcS    busybox 作为 linuxrc 启动后， 会读取 /etc/profile, 这里面设置了一些环境变量和 shell 的属性
    根据 /etc/fstab 提供的挂载信息， 进行文件系统的挂载
    busybox 会从 /etc/inittab 中读取 sysinit 并执行， 这里 sysinit 指向了 /etc/init.d/rcS
    /etc/init.d/rcS 中 ，mdev -s 这条命令扫描 /sys 目录，查找字符设备和块设备，并在 /dev下

mknod

cd etc

    

code profile

  

#!/bin/sh
export HOSTNAME=imingz
export USER=root
export HOME=/home
export PS1="[$USER@$HOSTNAME \W]\# "
PATH=/bin:/sbin:/usr/bin:/usr/sbin
LD_LIBRARY_PATH=/lib:/usr/lib:$LD_LIBRARY_PATH
export PATH LD_LIBRARY_PATH

    
 
 

code inittab

    

::sysinit:/etc/init.d/rcS
::respawn:-/bin/sh
::askfirst:-/bin/sh
::ctrlaltdel:/bin/umount -a -r

  

code fstab

 

#device  mount-point    type     options   dump   fsck order
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0
tmpfs /dev tmpfs defaults 0 0
debugfs /sys/kernel/debug debugfs defaults 0 0
kmod_mount /mnt 9p trans=virtio 0 0


 

mkdir -p init.d

code init.d/rcS

    

mkdir -p /sys
mkdir -p /tmp
mkdir -p /proc
mkdir -p /mnt
/bin/mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
echo /sbin/mdev > /proc/sys/kernel/hotplug
mdev -s

 

dev

    console : 将用户态的输出打印到串口上

sudo mknod console c 5 1

    

lib

拷贝lib库，支持动态编译的应用程序运行：

cp /usr/aarch64-linux-gnu/lib/*.so*  -a .

    

编译内核
配置内核

linux内核源码可以用之前的。

根据 arch/arm64/configs/defconfig 文件生成 .config

cd ~/linux_lab/lab4/linux-5.4.34

make defconfig ARCH=arm64

将下面的配置加入.config文件下面

code .config

    

CONFIG_DEBUG_INFO=y 
CONFIG_INITRAMFS_SOURCE="./root"
CONFIG_INITRAMFS_ROOT_UID=0
CONFIG_INITRAMFS_ROOT_GID=0

    CONFIG_DEBUG_INFO 是为了方便调试
    CONFIG_INITRAMFS_SOURCE 是指定 kernel ramdisk 的位置，这样指定之后 ramdisk 会直接被编译到 kernel 镜像中。

将之前制作好的根文件系统cp到root目录下

cp -r ../busybox-1.33.1/_install root

sudo mknod root/dev/console c 5 1

执行编译

指定 target 为 Image 增加编译速度， 这样会只编译 kernel, 不会编译 modules。

make ARCH=arm64 Image -j8  CROSS_COMPILE=aarch64-linux-gnu-

    

启动qemu
下载qemu

需要注意的，qemu 最好源码编译， 用 apt-get 直接安装的 qemu 可能版本过低，导致无法启动 arm64 内核。使用 4.2.1 版本的 qemu

sudo apt install build-essential zlib1g-dev pkg-config libglib2.0-dev binutils-dev libboost-all-dev autoconf libtool libssl-dev libpixman-1-dev libpython-dev python-pip python-capstone virtualenv

wget https://download.qemu.org/qemu-4.2.1.tar.xz

extract qemu-4.2.1.tar.xz

cd qemu-4.2.1

./configure --target-list=x86_64-softmmu,x86_64-linux-user,arm-softmmu,arm-linux-user,aarch64-softmmu,aarch64-linux-user --enable-kvm

make 

sudo make install

编译完成之后，qemu在 /usr/local/bin目录下

启动linux内核

/usr/local/bin/qemu-system-aarch64 -m 512M -smp 4 -cpu cortex-a57 -machine virt -kernel ~/lb4/linux-5.4.34/arch/arm64/boot/Image -append "rdinit=/linuxrc nokaslr console=ttyAMA0 loglevel=8" -nographic -s

    

    -m 512M 内存为512M
    -smp 4 4核
    -cpu cortex-a57cpu 为cortex-a57
    -kernel kernel镜像文件
    -append传给kernel 的cmdline参数。其中rdinit指定了init进程；nokaslr 禁止内核起始地址随机化，这个很重要， 否则GDB调试可能有问题；console=ttyAMA0指定了串口，没有这一步就看不到linux的输出；
    -nographic禁止图形输出
    -s监听gdb端口， gdb程序可以通过1234这个端口连上来。

 

构造代码

使用 PPT 上面的代码，代码中分别使用了gettimeofday 库函数和内联ARM64汇编代码

#include <stdio.h>
#include <time.h>
#include <sys/time.h>
 
int main()
{
      time_t tt;
      struct timeval tv;
      struct tm *t;
#if 0
      gettimeofday(&tv,NULL);
#else
      asm volatile(
          "add   x0, x29, 16\n\t"  //X0寄存器用于传递参数&tv
          "mov   x1, #0x0\n\t"     //X1寄存器用于传递参数NULL
          "mov   x8, #0xa9\n\t"   //使用X8传递系统调用号169
          "svc   #0x0\n\t"            //触发系统调用
      );
#endif
      tt = tv.tv_sec;                    //tv是保存获取时间结果的结构体
      t = localtime(&tt);                //将世纪秒转换成对应的年月日时分秒
      printf("time: %d/%d/%d %d:%d:%d\n",
             t->tm_year + 1900,
             t->tm_mon,
             t->tm_mday,
             t->tm_hour,
             t->tm_min,
             t->tm_sec);
      return 0;
}

 

 

触发系统调用

把test移动到根文件系统中：

mv test root/

    

把test.c进行交叉编译：

aarch64-linux-gnu-gcc -o test test.c -static

    

重新编译：

make ARCH=arm64 Image -j8  CROSS_COMPILE=aarch64-linux-gnu-

    

启动调试

先设置vscode配置文件：launch.json如下：

{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        
        {
            "name": "kernel debug",
            "type": "cppdbg",
            "request": "launch",
            "program": "${workspaceFolder}/vmlinux",
            "cwd": "${workspaceFolder}",
            "MIMode": "gdb",
            "miDebuggerPath":"/usr/bin/gdb-multiarch",
            "miDebuggerServerAddress": "localhost:1234"
        }
    ]
}

 

因为使用arm64内核，因此需要用gdb-multiarch来进行调试。

在 VSCode 中启动调试。新增断点 __arm64_sys_gettimeofday，再在终端中执行 test

执行过程：
el0_sync 处的内核汇编代码首先做的就是保存异常发生时程序的执行现场，然后根据异常发生的原因跳转到 el0_svc，el0_svc 会调用 el0_svc_handler、el0_svc_common 函数，将 X8 寄存器中存放的系统调用号传递给 invoke_syscall 函数。
接着执行 invoke_syscall 函数，将通用寄存器中的内容传入 syscall_fn()，引出系统调用内核处理函数 __arm64_sys_gettimeofday。
系统调用内核处理函数执行完成后，会将系统调用的返回值存放在 X0 寄存器中。

 

 

系统调用返回前，需要恢复异常发生时程序的执行现场（恢复现场），其中就包括恢复 ELR_EL1 和 SPSR_EL1 的值（原因是异常会发生嵌套，一旦发生异常嵌套 ELR_EL1 和 SPSR_EL1 的值就会随之发生改变）。最后内核调用异常返回指令 eret，CPU 硬件把 ELR_EL1 写回 PC，把 SPSR_EL1 写回 PSTATE，返回用户态继续执行用户态程序。如下图所示，该部分操作由 ret_to_user 函数中的 kernel_exit 0 完成。