Hadoop生态圈中的各个组件的介绍

hdfs

namenode

• 维护目录树，维护命名空间。
• 负责确定指定的文件块到具体的Datanode结点的映射关系。（在客户端与Datanode之间共享数据）
• 管理Datanode结点的状态报告

datanode

• 负责管理它所在结点上存储的数据的读写，及存储数据。
• 向Namenode结点报告DataNode节点的状态。
• 通过流水线复制实现数据副本。
   

 Standby NameNode

        Standby NameNode只是作为Active NameNode的备份，保证在Active NameNode出现问题时能够快速的替代它。

JournalNode

        为了使Standby节点保持其状态与Active 节点同步，两节点都与一组称"JournalNodes"（JN）的单独守护进程进行通信。当Active 节点执行任何命名空间修改时，它会持久地将修改记录记录到这些JN的大多数中。Standby节点能够从JN读取edit log内容，并不断监视它们以查看edit log内容的更改。当“Standby节点”看到edit log变化时，会将其应用到自己的命名空间。发生故障转移时，备用服务器将确保在将自身升级为活跃状态之前，已从JournalNode读取所有edit log内容。这样可确保在发生故障转移之前，命名空间状态已经完全同步。

DFSZKFailoverController

• Failure detector: 及时发现出故障的NN，并通知zkfc
• Active node locator: 帮助客户端定位哪个是Active的NN
• Mutual exclusion of active state: 保证某一时刻只有一个Active的NN

yarn

JobHistoryServer

        历史服务器，管理者可以通过历史服务器查看已经运行完成的Mapreduce作业记录，比如用了多少个Map、多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。  

ResourceManager      

• 处理客户端请求；
• 启动或监控ApplicationMaster；  
• 监控NodeManager；  
• 资源的分配与调度。

NodeManager

• 它负责接收处理来自ResourceManager的资源分配请求，分配具体的Container给应用。  
• 同时，它还负责监控并报告Container使用信息给ResourceManager。NodeManager只负责管理自身的Container，它并不知道运行在它上面应用的信息。负责管理应用信息的组件是ApplicationMaster