记一次生产cpu过高问题

背景

由于最近旅游消费需求旺盛，且临近五一，系统访问量也是暴涨，下午登陆hickwall查看，发现系统cpu过高，有几台机器超过100%

排查

立即开始排查，先加机器、加配置（4核8G加到8核16G），加完后，发现cpu还是在75%，应该是代码有问题了
查看后台

登陆机器top一看，吓一跳，307%
jstack发现没有权限。。
开始用公司内的工具查看线程占用

有三个线程占用

展开之后查看代码


发现使用线程池操作了一个map，那么问题就很简单了。

解决

hashMap的多线程环境引发了并发问题，应该是最近流量暴涨导致的，QPS白天已经涨到了380，导致机器线程卡死，立马修复代码重新发布。