Yarn Client HA模式下Spring XD AppMaster 异常问题调研

2019独角兽企业重金招聘Python工程师标准>>>

在XD中部署了修改过的支持Yarn Client HA的Spring Hadoop Yarn版本，运行一段时间后出现异常：

2017-03-31 14:52:01,243 DEBUG [DefaultContainerLauncher] - Checking status of containers previousely launched
2017-03-31 14:52:02,329 WARN [Client$Connection$1] - Exception encountered while connecting to the server :
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): Invalid AMRMToken from appattempt_1490607357271_0001_000002
2017-03-31 14:52:02,331 WARN [RetryInvocationHandler] - Exception while invoking class org.apache.hadoop.yarn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.allocate over rm2. Not retrying because failovers (30) exceeded maximum allowed (30) org.apache.hadoop.security.token.SecretManager$InvalidToken: Invalid AMRMToken from appattempt_1490607357271_0001_000002     
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)     
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)     
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)     
at java.lang.reflect.Constructor.newInstance(Constructor.java:422)      at org.apache.hadoop.yarn.ipc.RPCUtil.instantiateException(RPCUtil.java:53)     
at org.apache.hadoop.yarn.ipc.RPCUtil.unwrapAndThrowException(RPCUtil.java:104)     
at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.allocate(ApplicationMasterProtocolPBClientImpl.java:79)

调查RM的日志发现在该时间段，出现RM与ZK无法通信的情况，导致主备RM均进入neutral state，因此AM与RM无法通信。

RM恢复后，由于长时间没有收到AM的心跳，因此将AM kill掉。

根据默认重试机制，会重启一次AM。第二次则不再重启。

相关配置项：

yarn.am.liveness-monitor.expiry-interval-ms，默认10min

因此，在网络不稳的环境下，建议将上述配置项时间延长，以给RM恢复AM的时机。

转载于:https://my.oschina.net/shicheng2014/blog/3021601