Linux - 应用调用libc.so库的exit函数后CPU占100%，一直没有完成退出操作

Linux - 应用调用libc.so库的exit函数后CPU占100%，一直没有完成退出操作

问题现象

1. 使用top命令查看，问题进程占满100% CPU；
2. 使用perf top -p <PID>查看到99.72%的CPU比例消耗在C++标准库中的Rb_tree_increment。

[ben@thesre.cn] ~ # perf top -p <PID>
Sample: 272k of event 'cycle', Event count (approx.): 58479807375
Overhead	Shared object			Symbol
99.72%		libstdc++.so.6.0.19		[.] std::_Rb_tree_increment
0.03%		virt					[.] bEBJZ_pr
...

3. 看该问题进程的函数栈

(gdb) bt
#0 ... in std::_Rb_tree_increment ...
...
#20 ... in exit () from /lib64/libc.so.6

4. 通过汇编查看传参

(gdb) disassemble
Dump of assembler code for function _Zst18_Rb_tree_incrementPKSt
18_Rb_tree_node_base:
0x00002ad340d5bee0 <+0>: mov 0x18(%rdi), %rax

问题分析

通过上述现象可以看出，该问题进程在调用exit库函数后，执行exit handler。其中exit handler调用了libstdc++.so的_Rb_tree_increment，且一直不会退出。怀疑是应用在后台执行清理操作，使用到了红黑树数据结构操作，但意外地陷入了死循环中。

问题解决

• 执行kill -9 <PID>;
• 定期扫描超过一定时间（如12天）的这类进程，并给用户发送重启通知；
• 请应用开发者修复该exit handler。