- 有什么办法可以监控到 JVM 的实时运行状态?
Arthas 的命令、功能在其官方文档有详细介绍,下文将介绍一下近期几个使用场景。
场景 1:定位压测时的性能瓶颈
平时服务器请求都很正常。压测时,依赖的服务、数据库也都没有到达瓶颈,但是机器的 CPU 全部飘红,why?
通过 jstack 命令,只能看到某一时刻的堆栈,没有抓到真凶。
thread 查看当前线程信息,查看线程的堆栈。
thread -n 3 -i 10000 可以统计 10 秒内最忙的 3 个线程,并且打印它们的堆栈,很容易发现问题。最终发现的问题比较简单:日志中打印了 location 的信息,包括 类名、方法名和行号。
动态获取代码的方法名、行号等信息,通常是通过 new Throwable() -> 打印 Throwable 的堆栈 -> 截取堆栈中最顶层的业务代码 -> 拆分字符串获取类、方法、行号等信息, 打印堆栈对性能损耗是比较大的。
场景 2:检测偶发的超时
有段时间,总是碰到几次偶尔的超时,但是看日志都正常,鹰眼的调用链路都完全 ok,没有哪一步数据库操作或者 HSF 调用是特别慢的。
各种监控统计的时间维度的耗时,都十分正常,无法找到那个 rt 的尖刺。
想到了可能是日志的问题,但是没有证据支撑。
trace 命令能监控每一步的耗时,并且可以配合条件表达式,当耗时超过 xx ms 时打印详细日志。
找台机器,输入命令,后面的就是静等了。再次出现 rt 尖刺时,能够捕捉到耗时的分布情况。
通过 Arthas 拿到的结果,定位到是日志打印的问题。同步日志改为异步日志后,问题解决。