Hadoop完全分布配置过程

准备工作：

        JDK1.8.x

hadoop2.7.2

eclipse

虚拟机：Ubuntu14.04

              master:namenode、secondaryNamenode

              slave1:datanode

              slave2:datanode

              slave3:datanode

注：首先在Master上安装jdk、hadoop，然后克隆三台虚拟机slaveX。

JDK、hadoop的安装及环境变量的配置请参照

        http://blog.csdn.net/baidu_26611019/article/details/72848435

eclipse的配置请参考

        http://blog.csdn.net/baidu_26611019/article/details/72848649

本文主要分享hadoop的完全分布模式的搭建过程：

1、 修改/etc/hosts

su

nano /etc/hosts

添加

Ip1 : slave1

Ip2 : slave2

Ip3 : slave3

IpX根据实际情况替换,并将该文件发送给所有的数据节点

su

cd /etc

scp hosts root@slaveX:/etc  //在没有配置无密登陆前需要输入密码

2、ssh配置无密登陆

sudo apt-get install ssh   //已经安装可省略

ssh-keygen -t rsa -P ''-f ~/.ssh/id_rsa   //在master上生成密钥

cd ~/.ssh

scp id_rsa.pub ubuntu@slaveX:~/.ssh     //将共密发给所有数据节点

依次进入slaveX虚拟机

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

回到Master测试无密登陆

ssh slave1

若出现如下情况表示无密登陆成功：

ubunt