服务端排查线上问题（skynet，Java）

1.机器层面.

(1)查看机器cpu占用.

命令:top

us 用户空间占用CPU百分比: 　7.3%
sy 内核空间占用CPU百分比:　　2.0%
ni 用户进程空间内改变过优先级的进程占用CPU百分比:　　0.0%
id 空闲CPU百分比:　　90.4%
wa 等待输入输出的CPU时间百分比;　　0.3%

load average :当前系统负载的平均值，后面的三个值分别为1分钟前、5分钟前、15分钟前进程的平均数，一般的可以认为这个数值超过 CPU 数目时，CPU 将比较吃力的负载当前系统所包含的进程

(2).查看机器内存使用:

命令:free -h

total:总计物理内存的大小。
used:已使用多大。
free:可用有多少。
Shared:多个进程共享的内存总额。
Buffers/cached:磁盘缓存的大小。

(3)查看机器硬盘使用:

命令:df -h

(4)查看机器网络IO情况:

命令:iostat

2.进程层面(整体情况).

(1)首先获取进程ID.

命令: ps -ef | grep 应用名

(2)查看进程所占用cpu和内存

命令:ps -aux | grep 进程ID

USER : 用户
PID : 进程号
%CPU : 执行命令时候进程占用的CPU百分比
%MEM : 执行命令时候进程占用的内存百分比
VSZ : 进程占用虚拟内存(一般不用关注)
RSS : 进程占用物理内存(实际占用内存,单位KB)
TTY : 终端号

3.1线程层面和进程内部内存使用分析.（Java）

(1).查看线程正在干什么,也就是线程快照.

命令:jstack 进程ID

(2)JVM老年代,新生代使用情况.

命令:jmap -heap 进程ID.
该命令会打印一个堆的摘要信息，包括使用的GC算法、堆配置信息和各内存区域内存使用信息

(3)查看哪个类使用内存最多

命令:jmap -histo:live 进程ID

(4)查看详细GC情况.

命令:jstat -gcutil 进程ID

S0，S1 表示Survivor区
E表示Eden（新生代），
O表示Old（老年代）,
M表示Metaspace（元空间），
YGC（Minor GC次数），
YGCT（ Minor GC耗时，单位:秒），
FGC（Full GC次数），
FGCT（Full GC耗时，单位:秒），
GCT（GC耗时）

注意:上面两个YGCT,FGCT是新生代和老年代各自执行的gc的总的时间,如果需要算Full GC平均时间,则需要用FGCT/FGC,如果平均时间大于1s,则需要考虑优化了.

经过以上步骤基本能定位到问题,如果在过程中定位到比如说CPU占用过高OOM或者是内存溢出,可以在该文章查看详细步骤:OOM与CPU占用过高分析

3.2线程层面和进程内部内存使用分析.（skynet）

1.性能监控和统计： Skynet内置了一些性能监控功能，可以通过skynet.stat模块获取统计信息。关注消息队列、内存使用、CPU占用等指标，检查是否出现异常情况。

2.定位消息处理瓶颈： Skynet框架基于消息驱动的架构，可能会出现消息处理瓶颈。使用skynet.monitor模块分析消息处理队列的情况，查看是否有消息积压或处理较慢的情况。

3.协程调度和负载均衡： Skynet框架使用协程来处理任务，您可以通过skynet.queue模块查看协程队列情况，检查是否有某些协程负载过重，影响了整体性能。

4.内存泄漏检测： 使用工具如skynet.memprofiler模块来检测内存泄漏，确保内存使用稳定，不会出现不断增长的情况

常用监控命令

list：列出所有服务

mem：显示所有 lua 服务占用的内存

stat：stat指令用于列出所有Lua服务的CPU时间、处理的消息总数 、消息队列长度、被挂起的请求数量 (等。如图2-29所示，每个服务都含有消息队列，向服务发消息，就是将消息插入消息队列的过程，如果某个服务处理消息的速度太慢，它的消息队列就会很长。stat指令可以查看各个服务消息队列的长度，得知哪些服务负载高

netstat：列出网络连接的概况

4.网络层面

netstat（或ss：大量套接字连接时性能更好）网络状态
netstat -a 查看所有socket连接
netstat -tnpa 命令可以查看所有 tcp 连接的信息，包括进程号。
得到要查看的进程号，ps -ef 命令，查看相关进程信息
输入 iftop -P 会得到这样的一个实时数据