记一次摩拜单车JVM线程阻塞排查过程

问题发生在2017年下半年，当时摩拜单车每日骑行订单量已经超过1000万。有一段时间地理网格服务时不常的会响应变慢，每次持续几秒钟到几十秒钟就自动恢复。

如果响应变慢是持续的还好办，直接用jstack抓线程调用堆栈，基本可以很快定位问题。关键持续时间只有最多几十秒钟，而且是偶发的，一天只发生一两次，有时几天才发生一次，发生时间点也不确定，人盯着然后用jstack手工抓线程调用堆栈显然不现实。

好吧，既然手工的办法不现实，咱们就来自动的，写一个shell脚本自动定时执行jstack，5秒执行一次jstack，每次执行结果放到不同日志文件中，只保存20000个日志文件。

Shell脚本如下：

#!/bin/bash
num=0
log="/tmp/jstack_thread_log/thread_info"


cd /tmp
if [ ! -d "jstack_thread_log" ]; then
   mkdir jstack_thread_log
fi


while ((num <= 10000));


  do


    ID=`ps -ef | grep java | grep gaea | grep -v "grep" | awk '{print $2}'`
  
    if [ -n "$ID" ]; then
  jstack $ID >> ${log}  
    fi


    num=$(( $num + 1 ))


    mod=$(( $num%100 ))


    if [ $mod -eq 0 ]; then
  back=$log$num
  mv $log $back
    fi
    
    sleep 5


done

下一次响应变慢的时候，我们找到对应时间点的jstack日志文件，发现里面有很多线程阻塞在logback输出日志的过程，后来我们精简了log，并且把log输出改成异步，问题解决了，这个脚本果真好用！建议大家保留，以后遇到类似问题时，可以拿来用！

公众号近期文章菜单中还有关于JVM的其他文章《JVM 频繁GC快速排查捷径》，感谢关注和阅读！