java.util.concurrent.TimeoutException: Remote system has been silent for too long. (more than 48.0 h

背景

今天flink运行时发现有一个错误日志：Association to [akka.tcp://flink@ip:port] with UID irrecoverably failed. Quarantining address. java.util.concurrent.TimeoutException: Remote system has been silent for too long. (more than 48.0 hours),本文简单记录下

错误原因

首先要明确的是这个错误日志虽然是由JobManager输出，但是其实错误的根源不在JobManager，JobManager只是发现和日志中的对应ip:port的TaskManager没法连通后才打印错误日志，所以问题应该去查找下这个ip：port对应的TaskManager，查看下这个TM是什么原因没有响应JobManager的心跳检测，一般的原因无非是TaskManager长时间的GC或者是网络中断

总结

错误日志虽然是从JobManager输出，但是其实真正要检查的是这个ip:port对应的TaskManager，这才是导致错误的根源