1:NameNode
2:SecondNameNode
3:DataNode
4:ResourceManager
5:NodeManager
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
参考博客:
http://dongxicheng.org/mapreduce-nextgen/nodemanager-architecture/
http://dongxicheng.org/mapreduce-nextgen/yarnmrv2-resource-manager-infrastructure/
http://www.aboutyun.com/thread-7778-1-1.html
---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1、NameNode介绍
Namenode 管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。管理这些信息的文件有两个,分别是Namespace 镜像文件(Namespace image)和操作日志文件(edit log),这些信息被Cache在RAM中,当然,这两个文件也会被持久化存储在本地硬盘。Namenode记录着每个文件中各个块所在的数据节点的位置信息,但是他并不持久化存储这些信息,因为这些信息会在系统启动时从数据节点重建。
Namenode结构图课抽象为如图:
客户端(client)代表用户与namenode和datanode交互来访问整个文件系统。客户端提供了一些列的文件系统接口,因此我们在编程时,几乎无须知道datanode和namenode,即可完成我们所需要的功能。
1.1Namenode容错机制
没有Namenode,HDFS就不能工作。事实上,如果运行namenode的机器坏掉的话,系统中的文件将会完全丢失,因为没有其他方法能够将位于不同datanode