Spark在分布式环境中的安装过程中的主要问题

Spark在分布式环境中的安装过程中的主要问题

1.Spark集群HA无法正常启动的问题

master节点正常情况的状态为ALIVE与STANDBY，使用HA后通过zookeeper集群来确定master的ALIVE与STANDBY。

问题： 出现master节点一直处于RECOVERING，处理恢复状态，却不能正常启动。

解决方法：

#进入zk的客户端
zkCli.sh
#查看目录
ls/
#删除spark在zk中的目录
rmr /spark
#里面只留下leader_election就可以退出了
#如果还存在master_status
#1、查看任务
ls /spark/master_status
#2、删除失效任务即可
rmr /spark/master_status/app_app-20190219104450-0021
重启spark集群

2.sparkHA启动的时候两个namenode节点都是standby

首先如果是第一次配置的话请重新把配置好好弄清楚，可能是某些字段多了或少了个单词

如果你启动过并且之前能很好运行的话 就证明你的配置文件没有问题 这个时候可以查看自己是不是你的硬件蹦了