Hadoop生态圈组件

 

1、HDFS（hadoop分布式文件系统）

是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。

client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据。

namenode：主节点，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户 端请求。

DataNode：slave节点，存储实际的数据，汇报存储信息给namenode。

secondary namenode：辅助namenode，分担其工作量：定期合并fsimage和fsedits，推送给namenode；紧急情况下和辅助恢复namenode，但其并非namenode的热备。

 

2、yarn （hadoop资源管理器）

负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

• ResourceManager做的事情是负责协调集群上计算资源的分配。调度、启动每一个 Job 所属的 ApplicationMaster、另外监控 ApplicationMaster 的存在情况。
• NodeManager 根据要求启动和监视集群中机器的计算容器container。负责 Container