mikewuhao的博客

有天，用户突然反馈系统页面查询缓慢，影响使用，我查了日志报：druid 连接池异常 GetConnectionTimeoutException wait millis 9120, active 20, maxActive 20 creating 0

先说结论，后端服务消费到了kafka的超大消息，导致解析Json消息时OOM内存溢出了。有天，快下班时用户反馈说系统不可用了，加班排查了一晚上给解决了。登服务器，top命令监控当时CPU情况，发现有个java进程CPU飙升到100%了。使用 ps -ef | grep java 命令，查这台服务器运行的所有java进程PID，发现cpu飘高的进程正好是我们XX系统出的问题，导致系统不可用。再结合系统logback的error.log异常日志文件，发现OutOfMemoryError: Java heap