java应用压测瓶颈在mysql_JAVA线上常见问题排查手段(小结)

在平时开发过程中，对于线上问题的排查以及系统的优化，免不了和Linux进行打交道。每逢大促和双十一，对系统的各种压测性能测试，优化都是非常大的一次考验。抽空整理了一下自己在线上问题排查以及系统优化的一些经验。

一、系统性能瓶颈在哪

我们常常提到项目的运行环境，那么运行环境包括哪些呢？一般包括你的操作系统、CPU、内存、硬盘、网络带宽、JRE环境、你的代码依赖的各种组件等等。所以系统性能的瓶颈往往是IO瓶颈、CPU瓶颈、内存瓶颈或者程序导致的性能瓶颈

登录到服务器上，我们使用TOP命令可以很全面的看到系统资源使用情况

CPU瓶颈如何分析

使用TOP命令，输入大写P(即shift + P)可以按照CPU使用大小降序排序，在TOP命令第三行可以看到关键信息 %id：空闲CPU时间百分比，如果这个值过低，表明系统CPU存在瓶颈。如果过低，一般都是你的java程序导致的，所以需要登录到docker容器通过jstack命令查看堆栈信息来分析原因

确认目标进程

查看对应进程信息 -> 登录容器查看容器id -> 进入容器 -> 容器内top命令查看CPU过高的目标进程

对于CPU使用情况详细信息可以使用sar命令；命令中1 3 表示每秒采样1次，一共采样3次

打印堆栈信息

由于进程是admin用户启动的，所以jstack打印堆栈信息需要切换admin用户，确保你的机器上装了jstack命令;

然后退出容器，将文件复制移动到个人家目录(如果cp命令不能使用，可以通过scp命令移动到个人家目录)

通过sftp命令将文件copy到本地机器上，来分析堆栈日志信息；如果装了sz命令，或者通过sz命令下载也可以

分析堆栈信息

进入容器，查看哪些线程占比高(截图只是为了说明如何使用，实际cpu并没有很高)

将占比高的线程PID换算成16进制，去堆栈日志找对应的线程堆栈信息，分析问题就可以了

内存瓶颈如何分析

项目开发过程中，线程的不合理使用或者集合的不合理使用，通常会导致内存oom情况，对于内存瓶颈一般通过top命令查看，或者free命令查看内存使用情况;更详细可以通过vmstat命令查看

free命令，实际可用内存为free + buff + available;

如何分析内存使用，找到内存过高的原因呢，需要登录到docker容器中查看内存占比比较高的进程，通过jmap命令dump下来，通过IBM的分析工具MA来分析

确定目标进程 -> jmap -> 通过scp命令copy到个人家目录 -> 由于dump文件比较大，所以下载到本地之前通过tar命令压缩一下

一般内存分析查看最多的就是Actions下面的Histogram，