Hadoop+Zookeeper+HBase+Storm+Spark集群维护

Hadoop+Zookeeper+HBase+Storm+Spark集群维护

Hadoop+Zookeeper+HBase+Storm+Spark集群维护

集群启动顺序

序号	集群	启动命令
1	hadoop	./start-all.sh
2	zookeeper	./zkServer.sh start
3	hbase	./start-hbase.sh
4	storm	./storm nimbus ./storm supervisor ./storm ui
5	spark	./start-all.sh

集群关闭顺序

序号	集群	启动命令
1	hbase	./stop-hbase.sh
2	spark	./stop-all.sh
3	storm	分别在nimbus/supervisor/ui ctrl+c（然后杀进程）
4	zookeeper	./zkServer.sh stop
5	hadoop	./stop-all.sh

详细维护步骤

1.服务器规划方案

一主二从

序号	域名	ip
1	sia-master	10.72.132.101
2	sia-slave1	10.72.132.102
3	sia-slave2	10.72.132.103

2.集群服务器安装路径

三台服务器路径一致

序号	集群	安装路径
1	hadoop	/home/sia/CloudComputing/hadoop-2.7.5
2	zookeeper	/home/sia/CloudComputing/zookeeper-3.4.12
4	storm	/home/sia/CloudComputing/storm-1.2.2
5	spark	/home/sia/CloudComputing/spark-2.4.0-bin-hadoop2.7

3.Hadoop集群

【以下所有操作都只在主节点sia-master进行】
3.1 启动前查看服务：

sia@sia:~$ jps
18374 Jps

3.2 启动命令：

sia@sia:~$ cd /home/sia/CloudComputing/hadoop-2.7.5/sbin
sia@sia:~/CloudComputing/hadoop-2.7.5/sbin$ ./start-all.sh

3.3 启动完成效果：

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [sia-master]
sia-master: starting namenode, logging to /home/sia/CloudComputing/hadoop-2.7.5/logs/hadoop-sia-namenode-sia.out
sia-slave1: starting datanode, logging to /home/sia/CloudComputing/hadoop-2.7.5/logs/hadoop-sia-datanode-sia.out
sia-slave2: starting datanode, logging to /home/sia/CloudComputing/hadoop-2.7.5/logs/hadoop-sia-datanode-sia.out
Starting secondary namenodes [sia-master]
sia-master: starting secondarynamenode, logging to /home/sia/CloudComputing/hadoop-2.7.5/logs/hadoop-sia-secondarynamenode-sia.out
starting yarn daemons
starting resourcemanager, logging to /home/sia/CloudComputing/hadoop-2.7.5/logs/yarn-sia-resourcemanager-sia.out
sia-slave2: starting nodemanager, logging to /home/sia/CloudComputing/hadoop-2.7.5/logs/yarn-sia-nodemanager-sia.out
sia-slave1: starting nodemanager, logging to /home/sia/CloudComputing/hadoop-2.7.5/logs/yarn-sia-nodemanager-sia.out

3.4 查看当前服务：

sia@sia:~/CloudComputing/hadoop-2.7.5/sbin$ jps
18900 SecondaryNameNode
19621 Jps
19271 ResourceManager
18587 NameNode

3.5 此时去从节点查看当前服务：

sia@sia:~$ jps
12529 DataNode
12945 Jps
12709 NodeManager

3.6 在局域网访问Web：
链接：http://10.72.132.101:8088
界面：

3.7 停止命令：

sia@sia:~$ cd /home/sia/CloudComputing/hadoop-2.7.5/sbin
sia@sia:~/CloudComputing/hadoop-2.7.5/sbin$ ./stop-all.sh

4.Zookeeper

【以下所有操作都只在主节点sia-master进行】
4.1 启动命令：

sia@sia:~$ cd /home/sia/CloudComputing/zookeeper-3.4.12/bin/
sia@sia:~/CloudComputing/zookeeper-3.4.12/bin$ ./zkServer.sh start

4.2 查看当前服务：

sia@sia:~/CloudComputing/zookeeper-3.4.12/bin$ jps
20498 Jps
18900 SecondaryNameNode
19271 ResourceManager
20471 QuorumPeerMain
18587 NameNode

QuorumPeerMain就是zookeeper服务；
4.3 停止命令：

sia@sia:~$ cd /home/sia/CloudComputing/zookeeper-3.4.12/bin/
sia@sia:~/CloudComputing/zookeeper-3.4.12/bin$ ./zkServer.sh stop

5.Storm集群

【以下所有操作都只在主节点sia-master进行】
5.1 启动命令【以下每个终端命令执行之后会卡住，这就是Storm正常运行状态】：

sia@sia:~$ cd /home/sia/CloudComputing/storm-1.2.2/bin/
sia@sia:~/CloudComputing/storm-1.2.2/bin$ ./storm nimbus

sia@sia:~$ cd /home/sia/CloudComputing/storm-1.2.2/bin/
sia@sia:~/CloudComputing/storm-1.2.2/bin$ ./storm supervisor

sia@sia:~$ cd /home/sia/CloudComputing/storm-1.2.2/bin/
sia@sia:~/CloudComputing/storm-1.2.2/bin$ ./storm ui

5.2 查看当前服务：

sia@sia:~/CloudComputing/storm-1.2.2$ jps
18900 SecondaryNameNode
23653 nimbus
19271 ResourceManager
20471 QuorumPeerMain
18587 NameNode
23803 core
24427 Jps
23708 Supervisor

nimbus和Supervisor就是storm服务；

5.3 在局域网访问Web：
链接：http://10.72.132.101:8081
界面：

5.4 停止命令：
直接在卡住的storm nimbus/storm supervisor/storm ui上ctrl+c杀死进程即可；

6.Spark集群

【以下所有操作都只在主节点sia-master进行】
6.1 启动命令：

sia@sia:~$ cd /home/sia/CloudComputing/spark-2.4.0-bin-hadoop2.7/sbin/
sia@sia:~/CloudComputing/spark-2.4.0-bin-hadoop2.7/sbin$ ./start-all.sh

6.2 查看当前服务：

sia@sia:~/CloudComputing/spark-2.4.0-bin-hadoop2.7/sbin$ jps
24594 Master
18900 SecondaryNameNode
23653 nimbus
25142 Jps
19271 ResourceManager
20471 QuorumPeerMain
18587 NameNode
23803 core
23708 Supervisor

Master就是spark服务；

6.3 此时去从节点查看当前服务：

sia@sia:~$ jps
17200 Jps
12529 DataNode
12709 NodeManager
16733 Worker

Worker就是spark服务；

6.4 在局域网访问Web：
链接：http://10.72.132.101:8083
界面：

6.5 停止命令：

sia@sia:~$ cd /home/sia/CloudComputing/spark-2.4.0-bin-hadoop2.7/sbin/
sia@sia:~/CloudComputing/spark-2.4.0-bin-hadoop2.7/sbin$ ./stop-all.sh