Hadoop集群部署（完全版）

环境介绍：

本集群共四台机器，一台作为master，另外三台作为slave，他们的系统都是Ubuntu，但是版本不同，配置如下：

 

ip地址                       节点名                           

10.103.25.112       master

10.103.27.240       slave1

10.103.25.206       slave2

10.103.25.53        slave3

 

公共配置

1、每个slave、master都创建一个bigdata用户，因为不推荐各个机器之间使用root访问,所以最好新建同一个用户。

sudo adduserbigdata

输入用户名bigdata 和密码bd 后一路回车就好。

 

2、然后更改每台机器的hostname：

sudo vim/etc/hostname

按照上面的iP改为相应的节点名。

 

3、对每个slave用户，切换到bigdata用户，下载ssh和rsync，

sudo apt-getinstall ssh rsync

然后用ssh localhost 来验证是否安装上ssh。

 

4、在Hadoop启动以后，Namenode是通过SSH（Secure Shell）来启动和停止各个datanode上的各种守护进程的，这就须要在节点之间执行指令的时候是不须要输入密码的形式，故我们要为master设置免密码登陆slave。

所以对于master首先切换到bigdata，接下来操作如下：

sudo apt-getinstall ssh

安装成功了会在/home/bigdata目录下看到.ssh文件夹，

然后使用命令：

ssh-keygen -t rsa

此命令为用户产生ssh公匙私匙，这时候我们会在.ssh文件夹下发现多出两个文件：id_rsa.pub和id_rsa，使用如下命令：

cp id_rsa