前言
大家都知道,Hadoop的部署方式可分为
- 单机模式
- 伪分布式
- 完全分布式
本篇主要讲解的就是完全分布式。
搭建完全分布式的集群环境,需要多台的硬件设备,作为初学者,为了搭建集群去买多台电脑,多少有点不现实,所以这里我采用的是VM虚拟机,模拟搭建一个由三台机器组成的集群。
要想成功搭建Hadoop
的分布式环境,需要具备安装和操作VM虚拟机
,使用Ubuntu
系统的基本命令,Linux
下安装Java
以及Hadoop
等相关技能。不过不会的话,也不用太担心,我会尽量把我的操作过程写得详细一点。
具体的搭建过程可以分为以下几个阶段:
- 安装虚拟机
- 安装和配置Ubuntu
- 安装和配置Java环境
- 安装和配置Hadoop
安装虚拟机
VMware Workstation 12 Pro
链接:http://pan.baidu.com/s/1c2swwTU 密码:w0tv
激活码百度一搜一大堆,这里就不写了,安装过程也比较简单,实在不会的,百度上也有图解的教程,请自行搜索。
安装和配置Ubuntu
Ubuntu 12.04 desktop 版,有图形界面
链接:http://pan.baidu.com/s/1hs0vKwc 密码:i4mr
下面介绍如何在虚拟机中安装Ubuntu
操作系统,我们需要安装三台虚拟机,分别命名为Hadoop Master
(以下简称master
),Hadoop Slave1
(以下简称slave1
)和Hadoop Slave2
(以下简称slave2
),以下以安装master
为例
1、首先,打开安装好的虚拟机VMware Workstation 12 Pro
(以下简称VM)
2、依次点击 文件
→ 新建虚拟机
3、选择 自定义(高级)(C)
,点击 下一步
4、硬件的兼容性选择,使用默认的设置,直接点击 下一步
5、点击 浏览
,选择下载好的Ubuntu的iso文件,点击 下一步