Linux - 应用调用libc.so库的exit函数后CPU占100%,一直没有完成退出操作
问题现象
- 使用top命令查看,问题进程占满100% CPU;
- 使用
perf top -p <PID>
查看到99.72%的CPU比例消耗在C++标准库中的Rb_tree_increment。
[ben@thesre.cn] ~ # perf top -p <PID>
Sample: 272k of event 'cycle', Event count (approx.): 58479807375
Overhead Shared object Symbol
99.72% libstdc++.so.6.0.19 [.] std::_Rb_tree_increment
0.03% virt [.] bEBJZ_pr
...
- 看该问题进程的函数栈
(gdb) bt
#0 ... in std::_Rb_tree_increment ...
...
#20 ... in exit () from /lib64/libc.so.6
- 通过汇编查看传参
(gdb) disassemble
Dump of assembler code for function _Zst18_Rb_tree_incrementPKSt
18_Rb_tree_node_base:
0x00002ad340d5bee0 <+0>: mov 0x18(%rdi), %rax
问题分析
通过上述现象可以看出,该问题进程在调用exit库函数后,执行exit handler。其中exit handler调用了libstdc++.so的_Rb_tree_increment,且一直不会退出。怀疑是应用在后台执行清理操作,使用到了红黑树数据结构操作,但意外地陷入了死循环中。
问题解决
- 执行
kill -9 <PID>
; - 定期扫描超过一定时间(如12天)的这类进程,并给用户发送重启通知;
- 请应用开发者修复该exit handler。