干货笔记：Java生产故障排查 (内存CPU飙升，线程死锁)

1.JVM线上环境常见故障类型：

1. JVM内存泄漏：长时间运行后，内存使用量持续增加。
2. JVM内存溢出（OOM）：内存分配超出JVM堆空间限制。
3. 业务线程死锁：多个线程因竞争资源而相互等待，无法继续执行。
4. 应用程序异常宕机：由于各种原因，如GC频繁、内存溢出等，应用非正常终止。
5. 线程阻塞/响应速度变慢：线程在执行过程中遇到阻塞，导致服务响应延迟。
6. CPU利用率飙升或100%：某些进程或线程占用大量CPU资源。

2.排查思路：

1. 分析问题：利用经验和理论缩小问题范围。
2. 排查问题：根据可疑性逐一排查。
3. 定位问题：利用监控数据精确定位问题原因。
4. 解决问题：确定问题后采取措施解决。
5. 尝试最优解：在能力范围内寻求最佳解决方案。

3.工具使用：

• jps：查看Java进程。
• jinfo：查看和调整JVM参数。
• jstat：监控JVM资源和性能。
• jmap：生成堆Dump文件，分析内存使用。
• jhat：分析堆Dump文件。
• jstack：生成线程快照，定位线程问题。

4.故障排查方向：

• 应用程序本身问题：代码缺陷、资源使用不当等。
• 上下游系统问题：服务依赖问题导致连锁反应。
• 部署机器问题：硬件故障、网络问题等。
• 第三方RPC调用问题：调用者或被调用者出现问题。

5.故障排查实战：

• 内存溢出（OOM）：通过设置JVM参数自动导出堆Dump文件，使用MAT等工具分析。
• 内存泄漏：通过监控工具发现内存持续增长，分析代码逻辑。
• 死锁问题：使用jstack等工具分析线程状态，定位死锁代码。
• 应用宕机：使用keepalived等工具监控应用状态，自动重启服务。
• 线程阻塞/响应慢：分析系统日志、监控数据，优化代码和资源配置。
• CPU利用率高：使用top命令和jstack工具定位高CPU消耗线程，优化代码。

6.总结：

线上排查需要结合经验、工具和理性思维。通过分析、排查、定位和解决问题的步骤，可以高效地处理线上环境中的各类故障。开发者应不断积累经验，学习使用各种工具，形成自己的排查方法论。

分析问题、排查问题、定位问题、解决问题、尝试最优解。
原文链接：juejin.cn/post/7312431790713929763