本文详细介绍了如何启动和停止Hadoop集群、HDFS集群和YARN集群，包括NameNode、DataNode、JournalNode、ResourceManager、NodeManager等关键守护进程。此外，还提到了ZooKeeper的管理，如启动、状态检查和格式化，以及Web界面端口、常用命令和防火墙配置。对于Hadoop集群的操作和维护提供了全面指导。
集群
启动/停止Hadoop集群：start-all.sh stop-all.sh
1) 启动NameNode, DataNode
2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步
3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller
4) 启动YARN守护进程ResourceManager, NodeManager
启动/停止HDFS集群：start-dfs.sh stop-dfs.sh
1) 启动NameNode, DataNode
2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步
3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller
启动/停止YARN集群：start-yarn.sh stop-yarn.sh
据说如果ResourceManager和NameNode不在同一台机器上，那NameNode上无法直接使用start-yarn.sh启动ResourceManager，但NodeManager可以启动，ResourceManager需要在ResourceManager节点上启动，这一点待考证
节点
启动NameNode: hadoop-daemon.sh start namenode
启动DataNode: hadoop-daemon.sh start datanode
启动Jour
最低0.47元/天 解锁文章
扫一扫
1171
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
