crash调试内核入门-老司机带你上车

一：crash简介

crash工具是由Redhat工程师开发，是调试linux kernel问题的神器。linux的发行版基本都包含kdump服务，该服务可以在kernel panic时切换到转存kernel，收集异常时内存的数据，生成vmcore文件。crash工具加上符号表可以分析该vmcore文件，分析kernel panic的原因。

二：基于centos7.6搭建crash分析环境

使用crash我们需要安装centos的debug-kernel。

1：查看我们的系统内核版本

 2：然后去官网上查询对应的版本下载

Index of /7/x86_64http://debuginfo.centos.org/7/x86_64/

 我们需要这两个软件包：

kernel-debuginfo-3.10.0-957.el7.x86_64.rpm
kernel-debuginfo-common-x86_64-3.10.0-957.el7.x86_64.rpm
然后 rpm -ivh 安装。

安装完成后执行执行crash命令就能出现如下界面，说明安装完成了。

 这个命令是调试实时运行的内核，crash打开的是/proc/kcore文件作为内存映像，符号表来自刚才安装的文件：/usr/lib/debug/usr/lib/modules/3.10.0-957.el7.x86_64/vmlinux

三：如何调试出现问题的情况

1：kdump服务需要正确的配置，输入下面命令，出现operational说明服务正常

kdump服务在centos安装时默认打开的，在选择安装包界面的最右下方。

 2：除此之外看看内存预留是否正常

 crashkernel=auto 说明预留了内存给crashkernel。

3：产生vmcore

在配置kdump成功后，如果内核发送空指针时等异常时候，会切换到crashkernel收集内存，生成vmcore文件。如果我们手动生成vmcore文件，可以尝试如下命令：

         echo c > /proc/sysrq-trigger      注：谨慎使用，输出后内核会panic

重启后你会在下面的目录中发现vmcore文件：

 然后我们可以分析异常的原因：

crash vmcore /usr/lib/debug/usr/lib/modules/3.10.0-957.el7.x86_64/vmlinux

 四：crash解析数据原理

crash是工具，用于实现很多命令和解析方法，vmcore提供内存真实数据，vmlinux提供内核符号表，里面存了大量的全局变量地址和数据结构原理和代码等。 crash 根据你输入的命令去vmlinux中查找符号和地址，再去vmcore里面对应的位置获取真实数据，这样解析就完成了。

 更详细的信息可以阅读crash的源码获取。

五：常用命令和分析方法

1：bt 查看异常时的堆栈

堆栈执行的函数顺序是由大到小，#16是最开始执行的系统调用，一般#0是切换到crashkernel的执行。重点关注#10这个位置，打印出很多寄存器的地址，  标准的信息是 exception RIP表示出问题时候执行的指令。

此时找到rip 我们可以找到rip的值dis -rl ffffffff90a61bf6，执行命令：

dis -rl ffffffff90a61bf6      dis是查看源码的命令

crash> dis -rl ffffffff90a61bf6
/usr/src/debug/kernel-3.10.0-957.el7/linux-3.10.0-957.el7.x86_64/drivers/tty/sysrq.c: 134
0xffffffff90a61be0 <sysrq_handle_crash>:        nopl   0x0(%rax,%rax,1) [FTRACE NOP]
0xffffffff90a61be5 <sysrq_handle_crash+5>:      push   %rbp
0xffffffff90a61be6 <sysrq_handle_crash+6>:      mov    %rsp,%rbp
/usr/src/debug/kernel-3.10.0-957.el7/linux-3.10.0-957.el7.x86_64/drivers/tty/sysrq.c: 143
0xffffffff90a61be9 <sysrq_handle_crash+9>:      movl   $0x1,0x7e5721(%rip)        # 0xffffffff91247314
/usr/src/debug/kernel-3.10.0-957.el7/linux-3.10.0-957.el7.x86_64/drivers/tty/sysrq.c: 144
0xffffffff90a61bf3 <sysrq_handle_crash+19>:     sfence
/usr/src/debug/kernel-3.10.0-957.el7/linux-3.10.0-957.el7.x86_64/drivers/tty/sysrq.c: 145
0xffffffff90a61bf6 <sysrq_handle_crash+22>:     movb   $0x1,0x0

 rip是最后一行：movb $0x1,0x0   表示把数字1赋值到地址0

地址0系统会判断为空指针，所以产生了panic。

除此之外查看bt的打印，上面有write_sysrq_trigger函数，说明是我们手动echo c写sysrq-trigger触发的。

2：ps,log,set

ps:查看当前有哪些进程

log:查看系统日志

set:切换调试的进程上下文，比如ps查看一个进程，需要查看其他进程的上下文，set pid切换。

files:查看当前进程打开的文件

vm:当前进程使用的虚拟内存，VMA代表  vm_area_struct