部署hadoop

一、软件下载及系统环境

软件版本:1.2.1

下载地址:http://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/

文件名:hadoop-1.2.1.tar.gz

系统环境:debian 8

二、准备工作

1、硬件规划,IP及角色设置如下:

服务器1：172.16.0.69   master
服务器2：172.16.0.132  slave1
服务器3：172.16.0.133  slave2

注意：以下步骤，除特殊说明外，在3台服务器都要操作。

2、创建新用户jediael,创建opt文件夹，hadoop安装在这个文件夹中

# useradd jediael -s /bin/bash -m
# passwd jediael
# su jediael
$ mkdir ~/opt

3、赋予jediael执行sudo命令的权限

# visudo
添加如下内容：
    jediael ALL=(ALL) ALL  

4，修改/opt的属主为jediael，否则运行hadoop会报错

    # chown jediael:jediael /opt

5,修改/etc/hosts和/etc/hostname，修改结束后重启系统

#vi /etc/hosts
添加如下内容：
    172.16.0.69   master  
    172.16.0.132  slave1
    172.16.0.133  slave2

修改master的/etc/hostname

#vi /etc/hostname
修改为如下内容：
    master

修改slave1的/etc/hostname

#vi /etc/hostname
修改为如下内容：  
    slave1

修改slave2的/etc/hostname

#vi /etc/hostname
修改为如下内容：
    slave2

注 意：hosts文件不能有127.0.0.1 *配置，否则会导致出现异常，直接填写真实IP。

6、安装java环境

（1）安装java
    # apt-get install java7-sdk
 (2) 配置环境变量,修改/etc/bash.bashrc文件
    # vi /etc/bash.bashrc
添加以下内容
        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
        export PATH=$JAVA_HOME/bin:$PATH

7、配置PATH

# vi /etc/bash.bashrc
添加如下内容
    export PATH=/home/jediael/opt/hadoop/bin:$PATH

8、在master上配置免密码登录，配置后，master可以免密码登录slave1和slave2

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ scp ~/.ssh/authorized_keys slave1:~/.ssh/  
$ scp ~/.ssh/authorized_keys slave2:~/.ssh/  

注意 ：若提示.ssh目录不存在，则表示此机器从未运行过ssh，创建.ssh目录即可。.ssh/的权限为700。

9、在master上安装hadoop

将下载到的hadoop-1.2.1.tar.gz，解压到～/opt目录下
$ cd ~/opt
$ tar -zxvf hadoop-1.2.1.tar.gz
$ mv hadoop-1.2.1 hadoop

三、配置

在master服务器中进行以下操作

1、修改conf/hadoop_env.sh

$ vi ~/opt/hadoop/conf/hadoop-env.sh
添加以下内容：
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

2、修改conf/core-site.xml

$ vi ~/opt/hadoop/conf/core-site.xml
添加以下内容：
    <property>  
     <name>fs.default.name</name>  
     <value>hdfs://master:9000</value>  
    </property>  

    <property>  
     <name>hadoop.tmp.dir</name>  
     <value>/opt/tmphadoop</value>  
    </property>  

3、修改conf/hdfs-site.xml

$ vi ~/opt/hadoop/conf/hdfs-site.xml
添加以下内容：
    <property>  
     <name>dfs.replication</name>  
     <value>2</value>  
    </property>

4、修改conf/mapred-site.xml

$ vi ~/opt/hadoop/conf/mapred-site.xml
添加以下内容：
    <property>  
     <name>mapred.job.tracker</name>  
     <value>master:9001</value>  
    </property>  

5、修改conf/masters

$ vi ~/opt/hadoop/conf/masters
更新为以下内容：
    master

6、修改conf/slaves

$ vi ~/opt/hadoop/conf/slaves
更新为以下内容：
    slave1  
    slave2  

7、操作完成之后，将master中的hadoop拷贝到slave1和slave2中即可，使用如下命令：

   $ scp -r ~/opt/hadoop/ slave1:~/opt
   $ scp -r ~/opt/hadoop/ slave2:~/opt

四、启动并验证

1、格式化namenode，此步骤在3台机器上均要运行

$ bin/hadoop namenode -format  

2、启动hadoop，此步骤只需要在master上执行

$ bin/start-all.sh

3、登录页面验证，网址中的ip是master的ip

NameNode       http://ip:50070  
JobTracker     http://ip50030

4、查看各个服务器的java进程

（1）master:
    $ jps
    17963 NameNode
    18280 JobTracker
    18446 Jps
    18171 SecondaryNameNode
（2）slave1:
    $ jps
    16019 Jps
    15858 DataNode
    15954 TaskTracker
（3）slave2:
    $ jps
    15625 Jps
    15465 DataNode
    15561 TaskTracker

5、hadoop安装配置成功