本文介绍了Hadoop的架构模型，包括1.x和2.x两个版本。在1.x中，NameNode作为主节点管理元数据，DataNode存储数据，SecondaryNameNode辅助管理元数据。在2.x中，引入了Yarn资源调度系统，ResourceManager负责任务分配，NodeManager执行任务。Yarn有两种架构模型：NameNode与ResourceManager单节点，以及NameNode高可用与ResourceManager单节点，后者通过Zookeeper实现NameNode的高可用性。
hadoop的版本
hadoop的架构模型
1.x架构
- NameNode：集群当中的主节点，管理元数据（文件的大小，文件的位置，文件的权限），主要用于管理集群中的各种数据
- DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
- SecondaryNameNode：主要用于hadoop当中元数据信息的辅助管理（减轻Nomenode的压力）
Hadoop 2.x架构
第一种：NameNode与ResourceManager单节点架构模型
HDFS文件存储系统与1.x相同。
引入了Yarn资源调度系统（MapReduce运行在Yarn系统中）
数据计算核心模块：
ResourceManager：接收用户的计算请求任务，并负责集群的资源分配
NodeManager：负责执行主节点Appmaster分配的任务
而关于Yarn的调度方式如下
最低0.47元/天 解锁文章
622
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
