1:问题现象:
在IDEA写好程序并打包传到hadoop001上去执行的时候,统计不成功,报如下异常:
各文件目录如下:log.sh :/home/hadoop/shell
G5-Spark-1.0.jar :/home/hadoop/lib
2:处理过程
2.1依据提示找到相应问题解答:
在启用ha的集群中,DFS客户端无法预先知道在操作的时刻哪个NameNode处于活动状态。因此,当客户端与NameNode联系,而NameNode恰好是备用节点时,读或写操作将被拒绝,此消息将被记录下来。然后,客户端将自动与另一个NameNode联系,并再次尝试该操作。只要集群中有一个活动的NameNode和一个备用的NameNode,这个消息就可以安全地被忽略。如果应用程序配置为始终只联系一个NameNode,则此消息表示应用程序无法执行任何读/写操作。在这种情况下,需要修改应用程序以使用集群的HA配置。JIRA HDFS-3447处理降低此消息的严重性(以及类似消息)。
3.17. What does the message “Operation category READ/WRITE is not supported in state standby” mean?