现象:RPC请求一直超时异常如下
java.lang.RuntimeException: xxxRpcTimeOutException-null
分析:查看代码,可能是某个sql或者第三方服务调用超时造成的,查找该服务业务日志,没有发现任何异常日志数据!!这下子尴尬了,
1.机器load指标正常,为了恢复线上问题,重启集群,保留一台机器分析,为了防止该机器被线上流量调用,线上环境先屏蔽该机器。
2.因为没有任何异常日志打印,看下jstack有啥有用的信息没
jps -v
jstack 1893 |grep '${类名.方法名}'
没有找到相关信息,有可能线程可能已经结束了,尝试手动调用一次Rpc服务,重复步骤2,有调用栈信息输出
RpcBizProcessor-DEFAULT-8-thread-1" daemon prio=10 tid=0x000000000187b800 nid=0x1d86 runnable [0x000000005fccd000]
java.lang.Thread.St