长时间运行的spark-streaming程序自动退出的问题

最新推荐文章于 2022-06-20 19:42:33 发布

bottle123

最新推荐文章于 2022-06-20 19:42:33 发布

阅读量5.5k

点赞数

文章标签： hadoop 数据分析数据挖掘

本文链接：https://blog.csdn.net/bottle123/article/details/50460082

版权

本文探讨了长时间运行的Spark-Streaming程序遇到的自动退出问题，可能的原因指向了YARN 2.6版本的一个bug，具体问题记录在Apache JIRA的YARN-3103中。

摘要由CSDN通过智能技术生成

spark-streaming程序以yarn-client的方式运行了一段时间后，就退出了，但driver还在，yarn日志如下：
15/09/19 14:32:34 ERROR util.Utils: Uncaught exception in thread Thread-1
org.apache.hadoop.security.token.SecretManager$InvalidToken: Invalid AMRMToken from appattempt_1437371132890_10529_000002
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at org.apache.hadoop.yarn.ipc.RPCUtil.instantiateException(RPCUtil.java:53)
at org.apache.hadoop.yarn.ipc.RPCUtil.unwrapAndThrowException(RPCUtil.java:104)
at org.apache.hadoop.yarn.api.impl.pb.client.ApplicationMasterProtocolPBClientImpl.finishApplicationMaster(ApplicationMasterProtocolPBClientIm