2021-10-18

使用linux strace工具诊断程序报错及性能问题

一、说明
IT系统日常运维中，程序报错退出、性能下降是常见的故障类型。本次使用linux自带的strace工具对dm8数据库的启动和运行过程进行跟踪分析，掌握后可以协助解决各类程序启动过程中报错和性能下降的问题。

二、分析过程
对dm8数据库启动方式进行分析，主要的启动手段是：
1、通过注册到linux系统服务中的脚本“DmServer****”启动数据库
2、使用dmserver /dm.ini命令的方式启动数据库。
第一种方法DmServer脚本后台也是调用dmserver ****/dm.ini命令：

使用strace命令挂接dmserver可执行程序就可以抓取到dm8数据库启动和运行过程中的所有系统调用动作。
具体步骤如下：
步骤一、将dmserver可执行程序修改名称：
mv ./dmserver ./edmserver

步骤二、在dmserver的原路径下编写脚本dmserver，内容如下（脚本中的路径按实际情况修改）：
#!/bin/sh
echo $0 >>/home/dmdba/dmdbms/bin/par.log
echo $# >>/home/dmdba/dmdbms/bin/par.log
echo $1 >>/home/dmdba/dmdbms/bin/par.log
echo $2 >>/home/dmdba/dmdbms/bin/par.log
echo $3 >>/home/dmdba/dmdbms/bin/par.log
echo $4 >>/home/dmdba/dmdbms/bin/par.log
strace -ttt -o /home/dmdba/dmdbms/bin/strace.log /home/dmdba/dmdbms/bin/edmserver $1 $2

脚本中红色部分表示真正调用的二进制文件，要和步骤一中原dmserver程序修改后的名称一致。

步骤三、使用DmServer****脚本正常启动数据库（直接使用dmserver ****/dm.ini的方法也可以）

启动后，dm8数据库在整个启动过程和后续运行过程中的系统调用会追加到strace.log文件中。
截取strace.log文件部分内容：

红框内的调用栈对应读取dm8数据库参数文件dm.ini：
322 1629963959.127621 open("/opt/dmdbms/data/DAMENG/dm.ini", O_RDONLY) = 3 --打开文件
323 1629963959.127646 fstat(3, {st_mode=S_IFREG|0644, st_size=51220, …}) = 0 --获取文件状态
324 1629963959.127663 mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f7878684000 --映射内存
325 1629963959.127680 fstat(3, {st_mode=S_IFREG|0644, st_size=51220, …}) = 0
326 1629963959.127696 lseek(3, 49152, SEEK_SET) = 49152 --跳过头部
327 1629963959.127711 read(3, " #Whether to optimize"…, 2068) = 2068 --读取文件内容到内存缓冲区
328 1629963959.127733 lseek(3, 0, SEEK_SET) = 0
329 1629963959.127748 read(3, “#DaMeng Database Server Configur”…, 49152) = 49152
330 1629963959.127782 read(3, " #Whether to optimize"…, 4096) = 2068
331 1629963959.127800 close(3) --关闭文件

步骤四、模拟dm.ini文件不可访问并清理日志文件：
mv ./dm.ini ./dm.ini.bak

/home/dmdba/dmdbms/bin/strace.log
再次启动数据库报错：

Strace.log中内容：

三、strace工具使用
阅读系统调用栈的正确方法是从文件最后向上阅读，系统报错退出时strace输出终止，同时日志结束，距离日志文件尾部最近的信息最重要。

输出文件中每一行代表一次系统调用：

Linux系统调用可以使用man命令查看（需要安装第二卷），还可以通过在线man查询调用相关信息：https://man7.org/linux/man-pages/index.html
Strace可以协助诊断所有与系统调用相关的问题，例如内存共享段分配报错：

可以在man中查到shmget函数的EINVAL这个报错号对应的具体信息是请求的共享段大小与sysctl.conf中的限制数据不匹配：

Strace还可以协助分析程序性能问题，加入-T选项日志中显示每一步操作的耗时

使用-c参数strace将输出系统调用的统计信息：

占比最高的pread64对应的是对文件的随机读取，常见关系型数据库都设置了最小磁盘读写单元，对基本单元的读取是按照单元在文件中的offset进行。
Strace工具还可以结合ltrace（跟踪对库函数调用）、pstack（程序内部函数调用栈）等工具综合诊断。
chart.js/

社区地址：https://eco.dameng.com