Hadoop集群配置相关架构介绍

1.HDFS组成架构介绍

NameNode介绍

NameNode翻译过来就是名称节点，也就是一个节点管理者，记录者

NameNode是一个中心服务器，负责管理文件系统的名字空间，以及客户端对文件的访问，管理数据块的映射关系

鄙人对NameNode理解存在于表层，这边贴另一位博主的文章帮助大家理解Hadoop之NameNode、SecondaryNameNode_麦兜仔的博客-CSDN博客_hadoop namenode secondnamenode

DataNode介绍

DataNode翻译过来是数据节点，也就是一个工厂仓库，负责存储和处理

Datanode是HDFS文件系统的工作节点，它们根据客户端或者是NameNode的调度进行存储和检索数据，并且定期向NameNode发送它们所存储的块(block)的列表。

所以在集群部署时我们可以多个部署Datanode，用来缓解储存运行压力，相当于扩建工厂

SecondaryNameNode介绍

SecondaryNameNode翻译过来就是次要名称节点，也就是辅助NameNode管理HDFS，相当于一个秘书

辅助NarmeNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode ，在紧急情况下，可辅助恢复NameNode

SecondaryNameNode分担了NameNode，在长时间运行下NameNode产生大量运行数据在启动NameNode时需要耗费大量时间，而有了SecondaryNameNode的加入，合并运行数据而减轻NameNode启动加载数据量，加快启动时间。

而如果相关文件量巨大，合并会消耗大量的io资源，所以在配置时也可以配置多个NameNode以缓解io压力

2.Yarn组成架构介绍

ResourceManager介绍

ResourceManager翻译过来就是资源管理器，对资源进行调度，是掌舵人

分配运行ApplicationMaster的Container，并通知NodeManager加载Container

响应ApplicationMaster申请资源的请求，将Container清单返回给ApplicationMaster

监控NodeManager和ApplicationMaster的状态

监控整个集群的可用资源

整个ResourceManager内部结构复杂，有内部有很多细分组件，这边博主能力有限贴一个博主的文章把​​​​​​Hadoop之Yarn_麦兜仔的博客-CSDN博客

主要是调度资源协调yarn内部各大基础主键，学习实验一般配置1个

NodeManager介绍

NodeManager翻译过来就是节点管理器，管理单个节点的资源，就是部门经理

定时向ResourceManager汇报Container状态

响应ResourceManager和ApplicationMaster的请求，例如启动或清除Container的命令

监控Container资源使用情况

管理Container日志文件

监控Node节点的状态

同样NodeManager内部结构复杂，可参考Hadoop之Yarn_麦兜仔的博客-CSDN博客

节点管理器，就是相当于每台机子的代理人，所以除ResourceManager的主机，其他主机都需要配置

---

作为一个初学者，也不知道理解是否正确，大部分是依据链接博主的文章理解

如果有错误的地方，欢迎大家留言纠正