文章目录
(一)Hadoop部署模式
1、独立模式
- 在独立模式下,所有程序都在单个JVM上执行,调试Hadoop集群的MapReduce程序也非常方便。一般情况下,该模式常用于学习或开发阶段进行调试程序。
2、伪分布式模式
- 在伪分布式模式下,
Hadoop程序的守护进程都运行在一台节点上,该模式主要用于调试Hadoop分布式程序的代码,以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。
3、完全分布式模式
- 在完全分布式模式下,Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同节点担任不同的角色,在实际工作应用开发中,通常使用该模式构建企业级Hadoop系统。
(二)Hadoop集群规划
- 本课程将以前面安装的虚拟机为例,阐述完全分布模式Hadoop集群的安装与配置方法。当前规划的Hadoop集群包含一台主节点和两个从节点。
1、集群拓扑
- 一个主节点,两个从节点
2、角色分配
- 完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop,集群角色分配如下表所示。
节点 | 角色 |
---|