ubuntu安装Hadoop-1.2.1

1. 安装Hyper-v，并安装3台ubuntu

安装Hyper-v虚拟机还是比较简单的。大家可以自己选择虚拟。

2. 3台机子的基本信息

机器名	Ip地址	作用
Lee-virtual-machine	16.165.93.221	master
Lee-virtual-machine2	16.165.93.201	slave
Lee-virtual-machine3	16.165.93.36	slave

配置Hosts

sudo vi /etc/hosts

修改为以下：

创建hadoop用户组;

sudo addgroup hadoop

创建hadoop用户;

sudo adduser -ingroup hadoop hadoop

给hadoop用户添加权限，打开/etc/sudoers文件;

sudo vi /etc/sudoers

3. 安装jdk7

下载jdk7： http://www.oracle.com/technetwork/java/javase/downloads/index.html

解压安装：

sudo tar –zxvf jdk-7u45-linux-x64.tar.gz –C /usr/lib/jvm

修改环境变量：

sudo vi /etc/environment

保存退出，运行如下命令使之生效：

source ~/.bashrc

配置默认jdk版本：

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7.0_45/bin/java 300   

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/ jdk1.7.0_45/bin/javac 300   

sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/ jdk1.7.0_45/bin/jar 300

sudo update-alternatives --config java

通过java –version来查看jdk是否安装正确

4. 安装和配置SSH

安装ssh:

sudo apt-get install ssh openssh-server

注：这里3台机子都要安装SSH。

建立ssh无密码登录

su – hadoop

ssh-keygen -t rsa -P ""

cat id_rsa.pub >> authorized_keys

scp authorized_keys hadoop@lee-virtual-machine2:/home/hadoop/.ssh

scp authorized_keys hadoop@lee-virtual-machine3:/home/hadoop/.ssh

注：需要把文件分别拷贝到另外两台机子。

下载hadoop并解压hadoop：

sudo chown -R hadoop:hadoop hadoop-1.2.1

修改配置文件：

sudo vi conf/hadoop-env.sh

sudo vi conf/core-site.xml

sudo vi conf/mapred-site.xml

sudo vi conf/hdfs-site.xml

sudo vi conf/masters

sudo vi conf/slaves

把hadoop分别拷贝一份到其他两台slave中：

scp -r /home/hadoop/hadoop-1.2.1 root@lee-vitual-machine2:/home/hadoop/ 

scp -r /home/hadoop/hadoop-1.2.1 root@lee-vitual-machine3:/home/hadoop/ 

sudo chown -R hadoop:hadoop hadoop

注：两台机子上都要修改文件夹权限。

4. 运行hadoop

先格式化文件系统：

./hadoop namenode -format

启动虽有节点:

./start-all.sh

查看集群的状态:

./hadoop dfsadmin -report