部署Hadoop
一、Hadoop部署模式
1、独立模式
在独立模式下,所有程序都在单个JVM上执行,调试Hadoop集群的MapReduce程序也非常方便。一般情况下,该模式常用于学习或开发阶段进行调试程序。
2、伪分布式模式
在伪分布式模式下, Hadoop程序的守护进程都运行在一台节点上,该模式主要用于调试Hadoop分布式程序的代码,以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。
3、完全分布式模式
在完全分布式模式下,Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同节点担任不同的角色,在实际工作应用开发中,通常使用该模式构建企业级Hadoop系统。
二、Hadoop集群规划
1、集群拓扑
- 一个主节点,两个从节点
2、角色分配
- 完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop,集群角色分配如下表所示。
节点 | 角色 |
---|---|
master | NameNode, DataNode |
slave1 | DataNode |
slave2 | DataNode |
三、JDK安装与配置
由于Hadoop是由Java语言开发的,Hadoop集群的使用依赖于Java环境,因此安装Hadoop集群之前,需要先安装并配置好JDK。
1、下载JDK压缩包
2、上传到master虚拟机
- 将JDK压缩包上传到master虚拟机/opt目录
查看上传的JDK压缩包
3、在master虚拟机上安装配置JDK
-
执行命令:
tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local
,将JDK压缩包解压到指定目录