记录一次dubbo连接资源耗尽事故

异常信息

Server side(172.24.0.20,9090) thread pool is exhausted, detail msg:Thread pool is EXHAUSTED! 
Thread Name: DubboServerHandler-172.24.0.20:9090, Pool Size: 500 (active: 500, core: 500, max: 
500, largest: 500), Task: 546 (completed: 46), Executor status:(isShutdown:false, 
isTerminated:false, isTerminating:false), in dubbo://172.24.0.20:9090!

背景

在common包下定义了一个登录切面，对每一次请求都做token校验。在这个登录切面中，做了其它操作，比如更新用户最近登录时间到用户表等。

在每天中午十二点，有一个流量高峰期，用户会在这个时间飙升。部分数据库表压力也飙升，比如用户主表和拓展表。

某一天中午发现，大量接口请求抛异常，报dubbo线程池资源不够用。

原因分析

通过监控发现，在每天中午十二点的时候，数据库资源、服务器资源都有有个高峰，并且通过pinpoint发现，接口响应时间明显增加，部分接口响应时间陡增，甚至达到10s+。

dubbo配置的超时时间是10s，并且关闭了超时重试机制。

中午十二点有几个定时调度，自动触发业务逻辑。包括会触发推荐接口。推荐接口是需要对user表做全表扫描的，因此会锁表。

从监控信息、报错信息和业务三个维度分析，因为流量突然增大，登录接口给数据库部分表的压力也增大，导致大量请求堆积到dubbo服务提供方，耗尽dubbo线程池资源，引起雪崩。

解决方案

1. 对登录接口瘦身，设置缓存，把非必要逻辑移除，通过其它方式调用，降低这部分接口的调用频率
2. 将比较重的业务从中午十二点摊开到十二点半，有效降低峰值。