实验室环境下 hadoop集群配置

一、环境说明

实验室中多台机器都属于同一局域网，主机的操作系统多为windows系统，而hadoop要在linux环境下配置，因此我们选用了host（windows7）+Vmware（ubuntu）的方式进行了实验性的配置。

机器三台，分别做namenode（12G内存 八核处理器  1TB硬盘）和两个datanode（4G内存 双核处理器 1TB硬盘）。下面进入正式的配置过程。

 

二、虚拟机的安装及上网方式的选择

虚拟机上网方式，选择桥接。

虚拟机器上安装linux(ubuntu)系统，上网方式：选择有线网络，手动设置IP。网关。IP与主机网段相同。网关与主机相同，DNS与主机相同。

我们这次试验中 机器的配置的ip结果如下

Datanode ： 219.245.72.244

Namenode1:  219.245.72.242

Namenode2： 219.245.72.243

这是如果网络是好的，各个linux系统之间可以ping通。

三、安装ssh服务

在安装之前把虚拟机的上网方式改成Nat，Bridge方式不能直接上网。Linux系统设置成自动获取ip。

下面安装 openssh-server ，并配置各节点的公钥私钥

对于每个节点：     

安装 openssh-server ：sudo apt-get install openssh-server

创建公钥私钥： ssh-keygen –t rsa

期间会要求输入一些信息，直接按回车就可以。这样，在默认的路径（其中 njust 是当前用户名） /home/lilin/.ssh 目录下创建 私钥 id_rsa 和一个公钥 id_rsa.pub 。

对于 datanode 节点：

将自己的公钥发送到 namenode