10分钟快速定位互联网应用报障的方法

一．通常的报障类型

1.异常流量导致服务器负载高

2.数据库负载高（应用被刷或sql性能问题或机器很久没重启后的假象）

3.项目上线后遇到的各种问题（服务器负载高、页面豆腐块没数据或50x、死循环、页面响应慢等）

二．快速排查定位报障的步骤：

第一步应用方面

1.查看应用日志

vi所有日志stdout、stderr、jdkout、jvm等log，都细看下

搜索/xxxx

按n往下查xxxx

ctrl+f往下翻页

ctrl+b往回翻页

2.查看应用线程情况、monitor、jvm信息

第二步查看服务器信息方面

1.cpu

1）top

继续按

c：按CPU占用排序且显示具体的进程明细

M：按内存使用排序

1：显示各CPU的使用情况

回车：刷新数据

“load average”为当前系统负载的平均值，三个值分别为1分钟前、5分钟前、15分钟前的平均数

cat /proc/cpuinfo查看cpu相关参数

cat /proc/loadavg也可看负载情况

2.内存

1）free -m

注意：空闲内存=free+buffers+cached=total-used

cat /proc/meminfo查看内存相关配置参数

3.网络连接/IO

1）vmstat

vmstat 5 -S m：以5秒的数据刷新vmstat数据（单位为m）

参数含义

Procs

r:等待CPU资源的进程数,大于cpu核数时cpu资源已占满

b:处在非中断睡眠状态的进程数

w:被交换出去的可运行的进程数。此数由linux计算得出，但linux并不耗尽交换空间

Memory

swpd:虚拟内存使用情况，单位：KB

free:空闲的内存，单位KB

buff:被用来做为缓存的内存数，单位：KB

Swap

si:从磁盘交换到内存的交换页数量，单位：KB/秒

so:从内存交换到磁盘的交换页数量，单位：KB/秒

IO

bi:发送到块设备的块数，单位：块/秒

bo:从块设备接收到的块数，单位：块/秒

System

in:每秒的中断数，包括时钟中断

cs:每秒的环境（上下文）切换次数

CPU

按CPU的总使用百分比来显示

us: CPU使用时间

sy: CPU系统使用时间

id:闲置时间

2）netstat

netstat -nat|grep -i "80"|wc -l：查看80端口下所有连接数

netstat -an | grep ESTABLISHED | wc -l：查看正在通信的连接数

netstat -n | awk '/^tcp/ {++S[$NF]} END {for (a in S) print a, S[a]}'：查看tcp连接状态数情况

返回结果示例：

LAST_ACK 5

SYN_RECV 30

ESTABLISHED 1597

FIN_WAIT1 51

FIN_WAIT2 504

TIME_WAIT 1057

其中的

SYN_RECV表示正在等待处理的请求数；

ESTABLISHED表示正常数据传输状态；

TIME_WAIT表示处理完毕，等待超时结束的请求数。

netstat -na：显示所有网络连接

netstat -nap：显示所有网络连接，并带上进程相关信息

netstat -nat：显示所有tcp类型的网络连接

netstat -ln：显示所有监听状态的网络连接

一般跟grep组合使用

4.进程

1）ps

ps -aux：显示所有用户进程详情，一般跟grep组合使用

ps -ef：显示所有用户进程详情另一种风格，一般跟grep组合使用

如果显示不全可以通过-w加宽，如ps aux -www

如：ps -ef |grep java或ps -aux |grep java

ps -ef -www|grep java或ps -aux -www|grep java

5.JVM

1）GC情况

jstat

jstat -gccapacity ：JVM各区的剩余状态

jstat -gcutil ：JVM各区的占用情况

jstat -gccause ：jstat -gcutil基础加上gc的原因

jpid java为进程id，另外可以指定更新频率，如-h5 1s：每一秒更新一次，并每隔5条加上header显示

示例：jstat -gcutil 31479 500

即会每500毫秒一次显示进程号为31479的java进程的GC情况，

详细信息

jstat -gc31479500

即会每500毫秒一次显示进程号为31479的java进程的GC情况，

结果说明

显示内容说明如下（部分结果是通过其他其他参数显示的，暂不说明）：

S0C：年轻代中第一个survivor（幸存区）的容量(字节)

S1C：年轻代中第二个survivor（幸存区）的容量(字节)

S0U：年轻代中第一个survivor（幸存区）目前已使用空间(字节)

S1U：年轻代中第二个survivor（幸存区）目前已使用空间(字节)

EC：年轻代中Eden（伊甸园）的容量(字节)

EU：年轻代中Eden（伊甸园）目前已使用空间(字节)

OC：Old代的容量(字节)

OU：Old代目前已使用空间(字节)

PC：Perm(持久代)的容量(字节)

PU：Perm(持久代)目前已使用空间(字节)

YGC：从应用程序启动到采样时年轻代中gc次数

YGCT：从应用程序启动到采样时年轻代中gc所用时间(s)

FGC：从应用程序启动到采样时old代(全gc)gc次数

FGCT：从应用程序启动到采样时old代(全gc)gc所用时间(s)

GCT：从应用程序启动到采样时gc用的总时间(s)

NGCMN：年轻代(young)中初始化(最小)的大小(字节)

NGCMX：年轻代(young)的最大容量(字节)

NGC：年轻代(young)中当前的容量(字节)

OGCMN：old代中初始化(最小)的大小(字节)

OGCMX：old代的最大容量(字节)

OGC：old代当前新生成的容量(字节)

PGCMN：perm代中初始化(最小)的大小(字节)

PGCMX：perm代的最大容量(字节)

PGC：perm代当前新生成的容量(字节)

S0：年轻代中第一个survivor（幸存区）已使用的占当前容量百分比

S1：年轻代中第二个survivor（幸存区）已使用的占当前容量百分比

E：年轻代中Eden（伊甸园）已使用的占当前容量百分比

O：old代已使用的占当前容量百分比

P：perm代已使用的占当前容量百分比

S0CMX：年轻代中第一个survivor（幸存区）的最大容量(字节)

S1CMX：年轻代中第二个survivor（幸存区）的最大容量(字节)

ECMX：年轻代中Eden（伊甸园）的最大容量(字节)

DSS：当前需要survivor（幸存区）的容量(字节)（Eden区已满）

TT： 持有次数限制

MTT： 最大持有次数限制

2）jvm内存

jmap

jmap -dump:format=b,file=jmap.log ：生成heap dump文件

jmap -heap ：显示jvm heap总体情况

jmap -histo:live ：显示类实例占用内存情况

./jmap -heap 29760

分析工具：mat

3）jvm线程

jstack

jstack -l ：显示线程阻塞/死锁情况

jstack -l > /tmp/jstack.log把jvm线程栈信息导到文件上

如jstack -l 2255 > /tmp/jstack.log

6.磁盘空间

1）df -h：硬盘存储总体情况

2）du --max-depth=1 -h <路径>：指定路径下所有文件夹的大小（递归一层）

如：du --max-depth=1 -h./

3）du -sh <路径>：指定目录的大小

如：du -sh./

7.其他

1）分析访问日志

如：

分析响应状态码去重

awk '{print $9}' access.log |sort|uniq -c

查看最近访问量最高的页面(.jsp)

#cat access.log |awk '{print $9}'|grep '.jsp'|sort|uniq -c|sort -nr |head -n 10

2）curl命令

指定ua和代理ip

---

文/老猿，写代码写诗写职场的程序猿大叔，转载此文请联系老猿。