Vmware搭建hadoop集群

 

 

 

 

1.集群的网络设置如下：

主机名	ip
master	192.168.146.140
slave1	192.168.146.138
slave2	192.168.146.139

                                                                     表1  <主机名-ip>

2. 通过NAT桥接模式使得vmware能够使用主机的网络

这里先记录一下vmware的集中网络配置方式。

（1）bridge桥接方式，

VMWare虚拟出来的操作系统就像是局域网中的一台独立的主机，它可以访问网内任何一台机器，你需要手工为虚拟系统配置IP地址、子网掩码，而且还要和宿主机器处于同一网段，这样虚拟系统才能和宿主机器进行通信，虚拟系统和宿主机器的关系，就像连接在同一个Hub上的两台电脑。从网络技术上理解相当于在宿主机前端加设了一个虚拟交换机，然后宿主机和所有虚拟机共享这个交换机。

如果你想利用VMWare在局域网内新建一个虚拟服务器，为局域网用户提供网络服务，就应该选择桥接模式。

（2） NAT模式

可以看到有三个默认的虚拟网卡，而NAT模式用到的就是VMnet8网卡，还可以自行添加和删除网卡。

VMnet8默认是提供DHCP服务的，所以虚拟机无须手动设置IP。在Virtual Network Editor界面中还可以对NAT和DHCP服务作相应的修改，但一般情况下我们无须修改配置。

这里我们为了固定几台机子的ip，不启用DHCP自动分配，而是自己给自己加上静态ip。

同时修改打开网络中心，修改适配器，将vmware8这个网卡修改为192.168.146.1，网关192.168.146.2

这样子子相当于给宿主主机加了一个网卡，使得宿主主机和vmware的机子都在同一个集群内。

这样就可以用securt或者putty连接，而不同每次都是虚拟机操作那么麻烦。

 

3. vi /etc/hosts

加上表中对应的主机名，这样不用每次都写ip那么麻烦。

 

4.配置ssh免密码登录

ssh免密码登录的原理是  主机A有公钥和私钥，把公钥放到主机B，这样就可以A就可以登录B

（1）生成密钥对

ssh-keygen -t rsa   (这里的rsa表示rsa加密方式）

一路回车，不需要输入密码

执行该操作将在/home/user/.ssh下生成id_rsa, id_rsa.pub文件，其中id_rsa.pub是公钥。

若是需要本地localhost免密登录cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

一般情况下是需要的

（2）配置无密钥登陆，拷贝公钥到其他节点
ssh-copy-id hadoop-series.bxp.com（此命令相当于scp后，再cat到authorized_keys文件中）

或者在B机器上做步骤1或自行创建/home/user/.ssh文件夹，注意文件夹权限设置为700，将id_rsa.pub拷贝到B机器上

scp id_rsa.pub B:~/.ssh/A.id_rsa.pub

（3）将拷贝到B机器上的A.id_rsa.pub复制到authorized_keys文件中

cp  A.id_rsa.pub authorized_keys 

或

cat A.id_rsa.pub > authorized_keys

若有多个主机要访问，使用>>添加到authorized_keys文件中

 

（4）配置好公钥后仍无法免密登录：

原因比较简单，在于.ssh 文件夹 及 authorized_keys文件的权限问题，全部修改为 600 即可，用下面命令:

chmod -R 700 ~/.ssh

(5) 如果每次都这样，集群中的机子一多，就太麻烦了，可以写个脚本

 

设置共享文件夹

设置之后主机的对应路径为mnt/hgfs

 

3 hadoop集群的安装

需要用root用户安装，启动时可以用sudo启动