Spark集群启动与关闭

Hadoop集群和Spark的启动与关闭

Hadoop集群

开启

三台虚拟机均启动Zookeeper

zkServer.sh start

Master1上面执行 启动HDFS

start-dfs.sh

slave1上面执行 开启YARN

start-yarn.sh

slave2上面执行 开启YARN的资源管理器

yarn-daemon.sh start resourcemanager

​ (如果nodeManager没有启动(正常情况下 start-yarn.sh 就会启动)，手动启动)

yarn-daemon.sh start nodemanager

关闭

在master上面执行 停止HDFS服务

stop-dfs.sh

在slave1和slave2上面执行 停止YRAN

stop-yarn.sh

在slave2上面执行 停止YARN的资源管理器

yarn-daemon.sh stop resouremanager

三台均执行命令 停止Zookeeper

zkServer.sh stop

Spark组件

启动

自动从主节点启动所有服务

sbin/start-all.sh

手动启动

• 单独启动主节点

sbin/start-master.sh

• 启动slave节点

• 启动所有的slave节点 或者启动单台的slaves节点

sbin/start-slaves.sh spark://10.30.59.220:7077

或者单台启动
sbin/start-slave.sh spark://10.30.59.220:7077

关闭

从主节点自动关闭所有服务

sbin/stop-all.sh

手动关闭

• 单独关闭主节点

sbin/stop-master.sh

• 关闭所有的slave节点

sbin/stop-slaves.sh spark://10.30.59.200:7077

进入spark

/usr/local/spark/bin/spark-shell 启动spark

**如果不使用HDFS和Yarn可以不启动Hadoop 如果需要使用的话 要用命令行启动 **

启动Hadoop ；启动以后，打开ssh localHost,可以在网页中登录localhost:9870 查看hdfs的文件信息；
使用stop-dfs.sh 是可以关闭Hadoop的

验证集群的可用性

在浏览器中输入master的ip:50070 检测nameNode的HDFSWeb UI界面**

​ **Master节点显示: master:9000(active) **

​ slave1节点显示:slave1:9000’ (standby)

在浏览器中输入master的ip:8080 查看spark的Web UI界面

​ Workers中显示worker节点的位置和工作状态

** 点击workerID进入worker的detail页面会显示与该worker更详细的信息**