4台Hadoop集群完全分布式搭建

一、集群拓扑结构

集群软件，如下所示：

1. jdk-1.7.0
2. hadoop-0.20.2
3. mahout-0.5.0
4. ubuntu-12.04

说明：

(1)四台计算机的用户名均为computer。

(2)所有软件均放在/home/computer/目录下面。

(3)master的作用是NameNode，Secondary，JobTracker。

(4)slaver1，slaver3，slaver4的作用是DataNode，TaskTracker。

二、准备工作

1、新建用户组hadoop，并且将computer加入hadoop

(1)sudo addgroup hadoop

(2)sudo gpasswd -a computer hadoop

说明：修改/etc/sudoers文件，在 root  ALL=(ALL:ALL) ALL下面添加computer  ALL=(ALL:ALL) ALL。4台计算机做同样的配置。

2、配置静态IP地址以及IP到机器名的映射

(1)sudo vim /etc/network/interfaces

iface eth0 inet static

address 192.168.1.2

netmask 255.255.255.0

说明：

其余三台计算机做相应的配置。

(2)sudo vim /etc/hosts

192.168.1.2  master

192.168.1.3  slaver1

192.168.1.5  slaver3

192.168.1.6  slaver4

说明：

4台计算机做同样的配置。

(3)重启网络服务

sudo /etc/init.d/networking restart

3、配置Java环境变量

(1)sudo vim /etc/profil