1.安装zookeeper集群,修改配置文件,之后启动zookeeper的服务。
之后使用命令zkServer.sh start分别启动你的每台机器上面的zk服务。可以使用命令zkServer.sh status查看状态。
2.已经安装好spark集群。在配置文件中修改一些配置,将master的信息注册在你的zookeeper的集群上。
具体的命令是:
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hdp01:2181,hdp02:2181,hdp03:2181 -Dspark.deploy.zookeeper.dir=/spark"
3