大数据运维---Hadoop HA集群的启动与测试

最新推荐文章于 2024-04-27 23:48:58 发布

w_sunset

最新推荐文章于 2024-04-27 23:48:58 发布

阅读量1.8k

点赞数 3

本文链接：https://blog.csdn.net/w_sunset/article/details/121911506

版权

本文详细介绍了Hadoop HA集群的启动步骤，包括Zookeeper、JournalNode、NameNode的格式化和启动，以及ZKFC的格式化、HDFS和YARN的启动。此外，还进行了HA的测试，包括创建文件、执行MapReduce任务，并验证了集群的高可用性和正确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop HA集群的详细配置请参考：大数据运维---Linux安装hadoop Hadoop HA集群部署_w_sunset的博客-CSDN博客

第一部分：HA集群的启动

1.启动zookeeper（每个节点都需要启动）

[hadoop@master ~]$ zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/src/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

2.启动journalnode

[hadoop@master ~]$ hadoop-daemon.sh start journalnode
starting journalnode, logging to /usr/local/src/hadoop/logs/hadoop-hadoop-journalnode-master.out
[hadoop@master ~]$ jps
1705 JournalNode
1306 QuorumPeerMain
1756 Jps

3.namenode的格式化，Hadoop HA 集群配置完成后，首次启动前需要格式化HDFS

（1.1）主节点namenode的格式化：（注意：如果格式化失败或者多次格式化失败，则要把namenode,datanode,journalnode的存放目录的内容清空在进行格式化，我的目录是/usr/local/src/hadoop/tmp/hdfs/)

[hadoop@master ~]$ hdfs namenode -format


//最后几行，  退出状态为0，则表示格式化成功
21/12/13 19:07:11 INFO util.ExitUtil: Exiting with status 0
21/12/13 19:07:11 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.17.60
************************************************************/

(1.2)主节点namenode的启动

[hadoop@master ~]$ hadoop-daemon.sh start namenode
starting namenode, logging to /usr/local/src/hadoop/logs/hadoop-hadoop-namenode-master.out
[hadoop@master ~]$ jps
1923 Jps
1705 JournalNode
1306 QuorumPeerMain
1850 NameNode

(2.1)standby节点namenode的格式化，也就是slave1节点

[hadoop@slave1 ~]$ hdfs namenode -format


//格式化成功
21/12/13 19:18:59 INFO util.ExitUtil: Exiting with status 0
21/12/13 19:19:00 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at slave1/192.168.17.61
************************************************************/

（2.2)namenod的启动：

[hadoop@slave1 ~]$ hadoop-daemon.sh start namenode
starting namenode, logging to /usr/local/src/hadoop/logs/hadoop-hadoop-namenode-slave1.out
[hadoop@slave1 ~]$ jps
1857 JournalNode
2196 Jps
1514 QuorumPeerMain
2122 NameNode

4.同步master数据（复制namenode元数据到其他节点上）