生产环境10分钟黄金时间快速排障：CPU不定时飙高怎么排查？

“ 1分钟发现-5分钟响应-10分钟恢复，是定义故障处理的时效性目标。在阿里巴巴内部经过多年的实践，这也早已成为各个业务稳定性、基础设施稳定性以及大促保障的重要牵引指标。对于故障，最难的往往不是排查解决，而是保证上述1-5-10时效性。程序摄像头Trace Profiling直击排障痛点，期望帮助用户在分钟级以标准化步骤定位全资源种类的故障根因。”

1. 常规排障痛点

当生产环境CPU使用率过高时，我们的常规思路是，登录上机器：

1. 排查占用CPU的进程

2. 找出实际占用最高CPU的线程

3. 用jstack获取对应线程的堆栈信息，找出耗CPU的代码位置对应修复

此举易行，但是这一套操作下来，很花时间，而且如果CPU一会高，一会正常该怎么排查？比如：对象序列化、反序列化是开发的超高频操作，但是很多小伙伴可能不知道，这是很费CPU的。尤其在对象很大的时候，在生产环境就容易引起CPU飙高，但持续时间又很短，难以捕捉的情况，这种无法稳定复现的该怎么排查？

2.案例说明

我们模拟了上述场景，对一个6M大小的对象用不同的序列化框架进行序列化操作，并捕捉了请求Trace，耗时如下：

• Fastjson：285.00ms

• Jackson：255.29ms

•  Gson ：283.08ms

• net.sf.json