在Hadoop HA集群环境下，尝试使用`spark-submit`以`yarn-cluster`模式提交Spark应用时遇到错误。应用状态从RUNNING转为FINISHED，但在从yun01-nn-02（STANDBY状态的Namenode）获取文件信息时，由于StandbyException导致操作失败。问题在于Standby状态的Namenode不支持READ操作。尽管理解在HA集群中会有Namenode处于standby状态，但该错误仍不清楚如何解决。
环境为hadoop HA集群，yun01-nn-01、 yun01-nn-02为namenode,状态分别是ACTIVE和STANDBY，如下运行：
bin/spark-submit --master yarn-cluster --class week2.query1 --executor-memory 1g sparkscala.jar hdfs://ns1/data/log1.txt hdfs://yun01-nn-01:9000/out5
16/06/03 15:32:23 INFO Client: Application report for application_1464932730425_0004 (state: RUNNING)
16/06/03 15:32:24 INFO Client: Application report for application_1464932730425_0004 (state: FINISHED)
16/06/03 15:32:24 INFO Client:
client token: N/A
diagnostics: N/A
ApplicationMaster host: 192.168.56.14
ApplicationMaster RPC port: 0
queue: default
start time: 1464939068739
final status: SUCCEEDED
tracking URL: http://yun01-nn-01:8088/proxy/application_1464932730425_0004/A
user: hadoop
16/06/03 15:32:24 INFO RetryInvocationHandler: Exception while invoking getFileInfo of class Client
最低0.47元/天 解锁文章
710
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
