启动各节点
单节点逐个启动
主节点上
hdfs NameNode
$ hadoop-deamon.sh start namenode
hdfs DataNode
$ hadoop-deamon.sh start datanode
YARN ResourceManager
$ yarn-deamon.sh start resouremanager
YARN nodemanager
$ yarn-deamon.sh start nodemanager
规划节点(从节点)
SecondaryNameNode
$ hadoop-deamon.sh start secondarynamenode
脚本一键启动
主节点启动HDFS
$ start-dfs.sh
主节点启动YARN
$ start-yarn.sh
各节点的作用
NameNode
管理文件系统的命名空间,他维护着文件系统树及整棵树上所有的文件和目录,这些信息以两个文件形式永久的保存在本地磁盘上,命名空间镜像文件(fsimage)和(Editlogs)
# fsimage:namenode启动时,对整个文件系统的快照
# editlogs:namenode启动以后,对文件系统的改动序列
namenode也记录着每个文件中各个块所在的数据节点信息(包括副本数,用户对hdfs的操作),但它并不永久保存块的位置信息,因为这些信息会在系统启动时根据数据节点信息重建。
DataNode
datanode负责提供来自文件系统客户端读和写的请求,受客户端或者namenode的调度,并且定期向namenode发送(通过心跳机制存储的块的列表)
ResourceManager
管理集群资源,负责全局资源的监控,分配和管理。接收来自NodeManager的心跳信息,进行整体资源的汇总,监控ApplicationMaster的开启和创建。
nodemanager
yarn中的每一台节点服务器都运行一个NodeManager,NodeManager相当于管理当前机器的一个代理,负责本台机器的程序运行,并且对本台机器资源进行管理和监控,NodeManager定时向ResourceManager汇报本节点的资源(cpu,内存,磁盘)等使用情况,启动并监控Container(容器)。