JVM性能调优及线上故障问题排查步骤

一、发现问题

下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。

二、排查思路

简单分析下可能出问题的地方，分为5个方向：

1. 系统本身代码问题
2. 内部下游系统的问题导致的雪崩效应
3. 上游系统调用量突增
4. http请求第三方的问题
5. 机器本身的问题

三、开始排查

1. 查看日志，没有发现集中的错误日志，初步排除代码逻辑处理错误。
2. 首先联系了内部下游系统观察了他们的监控，发现一起正常。可以排除下游系统故障对我们的影响。
3. 查看provider接口的调用量，对比7天没有突增，排除业务方调用量的问题。
4. 查看tcp监控，TCP状态正常，可以排除是http请求第三方超时带来的问题。
5. 查看机器监控，6台机器cpu都在上升，每个机器情况一样。排除机器故障问题。

即通过上述方法没有直接定位到问题。

四、解决方案

1.重启了6台中问题比较严重的5台机器，先恢复业务。保留一台现场，用来分析问题。

2.查看当前的tomcat线程pid 使用PS或是TOP命令，我一般都是通过Top命令，因为不光能查到当前Java线程的PID，还能看到JAVA所在CPU情况

 1）ps -ef | grep java

2）top 

记住PID号与进程所属用户名，后面如果进行Dump时或Jstack时都会使用到

3.查看该pid进程下所有线程对应的系统占用情况。top -Hp 27565

4.发现pid 27953 27577  27596 线程分别占用了约6%-2%的cpu

5.将这几个pid转为16进制，分别为6D31  6BB9  6BCC

6.下载当前的java线程栈 su  tomcat jstack -l 384>/1.txt 或是直接查看

因为thread id在栈信息中是以十六进制的形式显示的，因此需要使用 printf "%x \n" <tid> 命令将现场id转成十六进制的值，然后执行 jstack -l <pid> | grep <thread-hex-id> -A 10 命令显示出错的堆栈信息，命令中 -A 10 参数用来指定显示行数，否则只会显示一行信息。

7.查询5中对应的线程情况，发现都是gc线程导致的 

这样通过上图，可以很快地定位到程序问题的代码，然后对代码进行分析和改进即可。

注意：需要在多个时间段提出多个 Thread Dump信息，然后综合进行对比分析，单独分析一个文件是没有意义的。

 

8.dump java堆数据

su tomcat jmap -dump:live,format=b,file=/usr/local/tomcat-8.0.38/dump.bin 23067

如果在Dump文件时长时间无法响应，请退出，然后在命令中加入-F参数进行强制生成快照文件

jmap -F -dump:live,format=b,file=/usr/local/tomcat-8.0.38/dump.bin 23067

 

9.使用MAT加载堆文件，可以看到javax.crypto.JceSecurity对象占用了95%的内存空间，初步定位到问题。或是使用JAVA自带的jvisualvm工具

MAT下载地址：http://www.eclipse.org/mat/

生成shell文件

上面讲述了整个的分析过程，不过所有的命令就是实时的，所以最好创建一个shell脚本瞬间执行完成，下面对 当CPU飙高时，它在做什么 这篇文章中所提供的shell进行了改进如下：

#!/bin/bash
#
# 当JVM占用CPU特别高时，查看CPU正在做什么
# 可输入两个参数：1、pid Java进程ID，必须参数  2、打印线程ID上下文行数，可选参数，默认打印10行
#

# $# 表示提供到shell脚本或者函数的参数总数；
#if [ $# -ne 1 ]; then
#    echo "usage: $0 <pid> [line-number]"
#    exit 1
#fi

# java home
if test -z $JAVA_HOME 
then
    JAVA_HOME='/usr/local/jdk1.8.0_112'
fi

#pid
pid=$1

if test -z $pid
then
 echo "pid can not be null!"
 exit
else
 echo "checking pid($pid)"
fi


# checking pid
if test -z "$($JAVA_HOME/bin/jps -l | cut -d '' -f 1 | grep $pid)"
then
    echo "process of $pid is not exists"
    exit
fi

#line number
lineNum=$2
if test -z $linenum
then
    linenum=30
fi



stackfile=stack_$pid.dump
threadsfile=threads_$pid.dump

# generate java stack
$JAVA_HOME/bin/jstack -l $pid >> $stackfile

ps -mp $pid -o THREAD,tid,time | sort -k2r | awk '{if ($1 !="USER" && $2 != "0.0" && $8 !="-") print $8;}' | xargs printf "%x\n" >> $threadsfile


echo $threadsfile

tids = "$(cat $threadsfile)"

for tid in $tids
do
    echo "------------------------------ ThreadId ($tid) ------------------------------"
    cat $stackfile | grep 0x$tid -A $linenum
done

rm -f $stackfile $threadsfile

注意：在使用jmap jstack等命令工具时，会报一些错误，比如本篇文章是在公司DEV、Test环境所测时由于Linux服务器的各种配置原因导致各种各样的命令报错，常见的见我下篇文章

小节，要熟记这几个命令以及命令的相关参数，和使用场景

如Jmap参数

options参数

heap : 显示Java堆详细信息

histo : 显示堆中对象的统计信息

permstat :Java堆内存的永久保存区域的类加载器的统计信息

finalizerinfo : 显示在F-Queue队列等待Finalizer线程执行finalizer方法的对象
dump : 生成堆转储快照
F : 当-dump没有响应时，强制生成dump快照

 

jmap、jstack、jps无法连接jvm解决办法