Hadoop集群搭建（以hadoop2.6.4为例）

1.配置服务器

1个主节点：master(192.168.15.128)，2个（从）子节点，slaver1(192.168.15.129)，slaver2(192.168.15.130)

初始ifcfg-eth0文件内容大致为：

修改静态IP后大致为：

重启网络：service  network  restart

 

通过桌面版的linux进行操作

通过edit找到virtual network editor，找到我们选择的v8 NAT，在下边如果有DHCP打钩则取消，在NAT Settings可以查看网关。接着去右上方的一个电脑标志右键配置网络信息，相当于通过另外一种途径配置IPADDR、GATEWAY等信息。

配置主节点名(192.168.15.128)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=master

简要说明：

配置两台子节点名(192.168.15.129)和(192.168.15.130)

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=slaver1

 

vi /etc/sysconfig/network

添加内容：

NETWORKING=yes

HOSTNAME=slaver2

 

配置hosts

打开主节点的hosts文件，要将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机信息。

vi /etc/hosts

192.168.15.128   master

192.168.15.129   slaver1

192.168.15.130   slaver2

保存之后，将主节点的hosts分别拷贝到其他两个子节点

scp /etc/hosts root@192.168.15.129:/etc/

scp /etc/hosts root@192.168.15.130:/etc/

（下边的生效命令不需要执行也可以，但名字显示不出来，最好重启或者使用命令）

然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostname hostname

例如：master上执行 /bin/hostname master，使之生效。

 

2. 配置ssh无密码访问

生成公钥密钥对

在每个节点上分别执行：

ssh-keygen -t rsa

一直按回车直到生成结束

执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub

其中前者为私钥，后者为公钥

在主节点上执行(在.ssh目录里)：

cp id_rsa.pub authorized_keys

将子节点的公钥拷贝到主节点并添加进authorized_keys

将两个子节点的公钥拷贝到主节点上，分别在两个子节点上执行：

scp  ~/.ssh/ id_rsa.pub root@master:/~/.ssh/id_rsa_slaver1.pub

(~进入到root目录，/~/.ssh可能报错找不到目录，可以写成/root/.ssh)