一图梳理性能问题分析排查思路

性能问题分析地毯式排查方法

对于平台提供方来说性能问题协助排查的起点是日志，终点是业务。而研发人员理应是性能问题的第一负责人，多数性能问题与业务的使用方式相关。

性能相关问题及疑难杂症的摸排定位，技术人员不怕bug，怕的是有问题现象却找不到原因。性能问题往往就是没有变更、没有警告、没有报错的三无问题，本文即是一个性能问题的检查单式的分析思路和常用工具方法，用于发现性能问题背后潜伏的罪魁祸首，大纲如图所示。

（获取高清图和xmind源文件方式见文末~）

排查思路讲解

现代复杂的信息技术及大数据分布式环境中，性能问题的分析排查是一个系统性的工程，涉及到多个层面和技术领域的深度协同。因此下面的分类并不是独立的，而是相关交织的线索。

日志

首先，日志作为系统运行过程中的“黑匣子”，记录了系统运行时的各项状态和事件信息，是定位性能瓶颈的关键线索源。通过细致地阅读和分析应用、数据库、操作系统等多维度的日志数据，我们可以发现潜在的问题，如慢查询、阻塞操作、资源争抢等，从而对症下药。

在大数据环境的任务日志要关注的是：

• 应用侧：主程序日志、节点日志、打印信息。
• 服务侧：Master服务、Slave服务、监控系统
• 慢查询日志、慢写入日志（类数据库服务）
• 上下游服务日志（大数据生态关联）
• GC日志（在环境章节）
• 系统日志（在环境章节）
• 特殊现象考虑组件Bug（查社区issue）

机器

其次，硬件（机器）层面的性能状况也不容忽视。CPU使用率、内存占用、磁盘I/O、网络吞吐量等硬件指标直接影响着系统的整体性能表现。例如，若服务器的CPU长期处于高位，或者磁盘I/O出现瓶颈，都可能导致应用程序响应速度下降，引发性能问题。因此，定期对硬件资源进行监控与调优，对于排查性能瓶颈至关重要。

看四大金刚（软件运行于硬件之上，硬件的小问题都可能给软件带来巨大的影响）：

1. 硬盘：了解构成、确认空间、查看速率使用率、检测坏盘、排查常见的异常
2. 网络：看端口占用、看延迟、抖动、丢包信息、看流量、趋势和收发拒绝情况、看链路、TCP连接数
3. 内存：看构成、缓存分布、Top应用、Top用户、内存泄露？
4. CPU：看型号、NUMA分区、看Top、使用率、负载、排查是否中病毒？

环境

再者，软件环境也是影响性能的重要因素，包括操作系统配置、JVM设置、特定硬件版本等。例如，不当的线程池大小配置可能导致并发处理能力受限；而低效的SQL语句或存在内存泄漏的代码则会持续消耗系统资源，降低系统性能。故深入研究并优化软件环境，能够有效提升系统的稳定性和响应速度。

环境主要看的是：

• JDK：版本类型、使用jdk自带的分析工具进行系统排查、gc日志交给GCeasy、Dump文件交给heapio、怀疑bug
• OS：确认版本、环境变量、查看大部分系统日志、系统配置、进程情况
• 注意系统架构的特殊性、差异

业务

最后，业务侧的需求变化和负载特性同样是引发性能问题的常见原因。例如，在高峰期用户请求量陡增导致系统超负荷运转，或是新功能上线后对系统资源需求激增，都可能诱发性能瓶颈。因此，从业务角度出发，合理预估和规划系统容量，结合实际业务场景进行压力测试与性能调优，才能确保系统在各种复杂业务场景下都能保持高效稳定的运行。

• 观察任务运行的所有参数、特有参数是否异常、用户自定义参数的来龙去脉
• 询问业务流程、知晓数据链路、了解历史任务运行情况、其他业务线是否正常？
• 探查变迁情况，有没遗漏的变动、有无被动修改（被关联组件修改、被关联业务修改）、分析相关代码

上述每一模块的内容较多，另文展开叙述！

---

与君共赏

《江城子·密州出猎》
（宋·苏轼） 
老夫聊发少年狂，左牵黄，右擎苍。 
锦帽貂裘，千骑卷平冈。 
为报倾城随太守，亲射虎，看孙郎。 
酒酣胸胆尚开张，鬓微霜，又何妨！ 
持节云中，何日遣冯唐？ 
会挽雕弓如满月，西北望，射天狼。

欢迎关注我的公众号[1024点线面]！

关注后回复"性能分析"获取高清原图和可编辑的xmind源文件。