Hadoop2.4.1分布式安装（详细）

安装环境：

10.0.1.65 hadoop2namenode1
10.0.1.66 hadoop2namenode2
10.0.1.67 hadoop2resourcemanager
10.0.1.68 hadoop2datanode1
10.0.1.69 hadoop2datanode2
10.0.1.70 hadoop2datanode3
10.0.1.71 hadoop2datanode4
10.0.1.72 hadoop2datanode5

 

修改hostname：

10.0.1.65 执行：hostname hadoop2namenode1
10.0.1.66 执行：hostname hadoop2namenode2
10.0.1.67 执行：hostname hadoop2resourcemanager
10.0.1.68 执行：hostname hadoop2datanode1
10.0.1.69 执行：hostname hadoop2datanode2
10.0.1.70 执行：hostname hadoop2datanode3
10.0.1.71 执行：hostname hadoop2datanode4
10.0.1.72 执行：hostname hadoop2datanode5

 

设置HOST：

在以上四台机器上的/etc/hosts文件尾部加

## hadoop2.4.1 start
10.0.1.65 hadoop2namenode1
10.0.1.66 hadoop2namenode2
10.0.1.67 hadoop2resourcemanager
10.0.1.68 hadoop2datanode1
10.0.1.69 hadoop2datanode2
10.0.1.70 hadoop2datanode3
10.0.1.71 hadoop2datanode4
10.0.1.72 hadoop2datanode5
## hadoop2.4.1 end

 

创建hadoop2.4.专用用户（以下步骤四台机器都要设置）：

[root@NameNode ~]# groupadd -g 101 clustergroup        #此命令向系统中增加了一个新组 clustergroup，同时指定新组的组标识号是101。 
[root@NameNode ~]# useradd -g clustergroup -d /home/hadoop hadoop    #此命令新建了一个用户hadoop,产生一个主目录/home/hadoop,它属于clustergroup用户组
[root@NameNode ~]# passwd hadoop    #设置或者修改密码：123456
Changing password for user hadoop.
New password:
BAD PASSWORD: it is too simplistic/systematic
BAD PASSWORD: is too simple
Retype new password:
passwd: all authentication tokens updated successfully.

 

第二：安装JDK环境

    可执行权限：chmod 755 jdk-1_5_0_06-linux-i586.bin

    执行：./jdk-6u38-linux-i586.bin 空格键翻页，到最后输入yes

    配置环境变量：在/etc/profile 中加入：

        export  PATH=/usr/local/java/jdk1.6.0_38/bin:$PATH
        export JAVA_HOME=/usr/local/java/jdk1.6.0_38 

    运行：source /etc/profile  使配置文件生效

    运行：java -version,显示jdk版本，jdk安装成功

 

第三：无密码SSH登录

在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个datanode上的各种守护进程的，这就须要在节点之间执行指令的时候是不须要输入密码的形式，故我们须要配置SSH运用 无密码公钥认证的形式。以本文中的8台机器为例，现在10.0.1.65和10.0.1.66是namenode节点，他须要连接10.0.1.67、10.0.1.68、10.0.1.69、10.0.1.70、10.0.1.71和10.0.1.72。并且10.0.1.65要连到10.0.1.66，10.0.1.66也要连到10.0.1.65，须要确定每台机器上都 安装了ssh，并且每个机器上sshd服务已经启动。

切换到hadoop2用户( 保证用户hadoop2可以无需密码登录，因为我们后面安装的hadoop属主是hadoop2用户。)

切换到10.0.1.16

[root@DataNode4 ~]# su hadoop2
[hadoop2@DataNode4 ~]$ 
[root@DataNode4 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    Generating public/private dsa key pair.
    Your identification has been saved in /root/.ssh/id_dsa.
    Your public key has been saved in /root/.ssh/id_dsa.pub.
    The key fingerprint is:
    99:db:6b:37:5a:3e:43:d1:9e:49:f6:c3:fa:fe:31:23 root@DataNode4
    The key's randomart image is:
    +--[ DSA 1024]----+
    | |
    | |
    | . |
    | o . + |
    | S =.+ |
    | o . +o.|
    | . ...E.+.|
    | .+=.. +|
    | .oo.+ooo|
    +-----------------+
[root@DataNode4 ~]# ll .ssh
total 12
-rw------- 1 root root 672 Feb 17 11:27 id_dsa
-rw-r--r-- 1 root root 604 Feb 17 11:27 id_dsa.pub

master ssh公钥和私钥已经生成，Id_dsa.pub为公钥，id_dsa为私钥，紧接着将公钥文件复制成authorized_keys文件。

 

将10.0.1.65和10.0.1.66公钥分别拷贝到10.0.1.67，10.0.1.68，10.0.1.69，10.0.1.70，10.0.1.71，10.0.1.72的/home/hadoop/.ssh/

以及将10.0.1.65的公钥拷贝到10.0.1.66，10.0.1.66的公钥拷贝到10.0.1.65

    [hadoop2@NameNode .ssh]$ scp id_dsa.pub hadoop2@10.0.1.17:/home/hadoop2/.ssh/
    The authenticity of host '10.0.1.17 (10.0.1.17)' can't be established.
    RSA key fingerprint is 4a:54:95:07:0b:ef:da:8e:6c:62:57:e6:b9:a2:58:90.
    Ar