Linux进程崩溃排查方法

1. dmesg
   通过该指令可以查看进程崩溃的相关信息
   
   上图中最后两条即为进程崩溃的日志（该程序执行过两次），通过日志可以看出是在调用libfun.so时出错，在日志中给出了进程崩溃的地址，可以通过addr2line程序进一步定位原因
2. addr2line
   addr2line工具是一个可以将指令的地址和可执行映像转换为文件名、函数名和源代码行数的工具。这在内核执行过程中出现崩溃时，可用于快速定位出出错的位置，进而找出代码的bug.
   参数：
   -a --addresses：在函数名、文件和行号信息之前，显示地址，以十六进制形式。
   -b --target=：指定目标文件的格式为bfdname。
   -e --exe=：指定需要转换地址的可执行文件名。
   -i --inlines ： 如果需要转换的地址是一个内联函数，则输出的信息包括其最近范围内的一个非内联函数的信息。
   -j --section=：给出的地址代表指定section的偏移，而非绝对地址。
   -p --pretty-print：使得该函数的输出信息更加人性化：每一个地址的信息占一行。
   -s --basenames：仅仅显示每个文件名的基址（即不显示文件的具体路径，只显示文件名）。
   -f --functions：在显示文件名、行号输出信息的同时显示函数名信息。
   -C --demangle[=style]：将低级别的符号名解码为用户级别的名字。
   -h --help：输出帮助信息。
   -v --version：输出版本号
   addr2line 相对偏移地址 -e 可执行文件名/动态库名 参数
   相对地址可以根据dmesg中的信息计算，为ip地址与中括号内的地址差，再加上1000
   
   通过该指令可以定位到具体的代码行，前提是通过debug模式编译的
3. readelf
4. nm
5. core文件排查
   首先通过ulimit -c number指令来获指定文件大小，也可以设置为unlimited
   
   在ubuntu测试，生成的core文件保存在/var/lib/apport/coredump目录i下，通过文件名可以看到程序的所在位置。
   可以通过gdb加载该程序和core文件来定位问题
   
   dmp路径
   /proc/sys/kernel/core_pattern