Hadoop分布式集群IP配置和VBox linux虚拟机网卡配置

交流群：335671559

Hadoop分布式集群IP配置和VBox linux虚拟机网卡配置

目录

一、VBox linux虚拟机网卡配置

二、单机伪分布式配置

三、多台节点的集群配置

四、windows通过VBox连接linux虚拟机

一、VBox linux虚拟机网卡配置

　　　在VBox的设置中，选择“网络”单选项，勾选“启用网络连接”，然后选择连接方式，VBox的连接方式有多种，这里只说明两种：

（1）网络地址转换（NAT）：

　　　这种方式属接入广域网(WAN)技术，是一种将私有（保留）地址转化为合法IP地址的转换技术，它被广泛应用于各种类型Internet接入方式和各种类型的网络中。所以连接方式会有一下特点：

　　　1、如果主机可以上网，虚拟机可以上网

　　　2、虚拟机之间不能ping通

　　　3、虚拟机可以ping通主机（此时ping虚拟机的网关，即是ping主机）

　　　4、主机不能ping通虚拟机

图1 网络地址转换（NAT）

（2）仅主机（Host-Only）适配器：

　　　通过VirtualBox Host-Only Network网卡进行通信，虚拟机以此ip作为网关，因此模拟了一个本机与各个虚拟机的局域网，如名称所指。连接方式会有一下特点：

　　　1、虚拟机不可以上网

　　　2、虚拟机之间可以ping通

　　　3、虚拟机可以ping通主机（注意虚拟机与主机通信是通过主机的名为VirtualBox Host-Only Network的网卡，因此ip是该网卡ip 192.168.56.1，而不是你现在正在上网所用的ip）

　　　4、主机可以ping通虚拟机

图2 仅主机（Host-Only）适配器

　　　通过以上的介绍，我们可以了解到不同连接方式的特点，所以，根据自己的需求可以进行相应的设置：

　　　1、如果只需要虚拟机上网，不需要和主机通信，则可以只按照图1方式配置；

　　　2、如果虚拟机不需要上网，只是和主机进行通信，则可以按照图2方式配置；

　　　3.、如果需要同时满足以上两个需求，则开启第二个网卡，第一个网卡按照图1的方式配置，第二个网卡按照图3的方式配置，“网卡2”启用。

图3 启用第二个网卡

二、单机伪分布式配置

core-site.xml配置

　　　<name>fs.default.name</name>

　　　<value>hdfs://localhost:9000/</value>

mapred-site.xml配置

　　　<name>mapred.job.tracker</name>

　　　<value>localhost:9001</value>

eclipse插件配置location，如下图所示

hadoop安装路径下/conf目录

　　　masters文件默认值为(namenode)：

localhost

　　　slaves文件默认值为(datanode)：

localhost

　　　如果不使用localhost而使用本机IP地址，则上面的localhost全部使用本机IP地址替换。如果有不一致的地方，则会报各种各样的错，比如fs.default.name使用IP(比如192.168.56.101)地址，而eclipse使用localhost，则eclipse会出现连不上本地DFS的错误。

三、多台节点的集群配置

下面以三台机器集群配置介绍，一台namenode,两台datanode

1.修改虚拟机/etc/hosts文件，给对应IP设置唯一标识，设置之后，在之后的配置文件中，我们可以直接使用唯一标识，而不使用IP。

192.168.56.101master

192.168.56.102slaves1

192.168.56.103slaves2

master是namenode节点，slaves是datanode节点

2.修改hadoop配置文件

core-site.xml配置

　　　<name>fs.default.name</name>

　　　<value>hdfs://master:9000/</value>

mapred-site.xml配置

　　　<name>mapred.job.tracker</name>

　　　<value>master:9001</value>

hadoop安装路径下/conf目录

　　　masters文件修改为(namenode)：

master

　　　slaves文件修改为(datanode)：

slaves1

slaves2

3.打包修改过的hadoop安装目录，拷贝到其他的机器，同时修改机器的hosts文件，保持每台机器的hosts文件内容相同。

4.eclipse插件配置location，如下图所示

配置要和hosts文件中的设置一致。

我整理的一篇分布式集群搭建文章，大家可以参考一下：

http://blog.csdn.net/jyl1798/article/details/9406371

四、windows通过VBox连接linux虚拟机

（1）通过VBox增强工具连接

先安装virtualbox的增强工具

 1. 选择virtualbox的菜单栏中的 设备>增强工具，然后桌面就会挂载增强工具包的Iso映像。如下图

2.打开终端，在终端中输入 #cd /media  打开刚挂载的映像，然后可用 #ls 显示其内容，可以发现其中有一个目录为 VBOXADDITIONS_4.2.2_81494的目录，进入该目录，可以看到其中的内容，其中有一个 VBoxLinuxAdditions.run 文件就是我们要运行的，使用 #sh VBoxLinuxAdditions.run 回车即可自动安装，不用管它，等安装完后，重启虚拟机就OK了。详细过程可以如下图显示：

设置文件共享

1、设置virtualbox->Device->share folders，并指定一个windows文件夹作为share，并把forlder name设为share（或其它自己喜欢的名字）如图

2、在linux中操作：先取得root权限，再到/mnt目录下新建一个文件夹，比如sharefile: mkdir /mnt/ sharefile ;然后执行mount -t vboxsf share /mnt/ sharefile，此时就可以在linux中共享windows下的指定的那个文件夹了。其中上述命令中的share是共享文件夹的名字，比如你共享的文件夹名字是share，那么vboxsf后面的那个参数就是share

3、配置完成后，就可以在/mnt/ sharefile目录下看到共享文件了

（2）通过Linux自带Connect to Server或者连接到服务器

使用这种方式的前提是宿主机和虚拟机可以互相ping通，且IP地址属于同一个网段的。可以按照第一节中说明的启用两块网卡解决。

1、选中“位置”下的“连接到服务器”

2、弹出如下所示的对话框

首先，服务类型选择“Windows共享”；

其次，“服务器”填写宿主机（这里是windows）的IP地址，填写局域网地址；

第三，“文件夹”填写windows共享的文件夹名称；

第四，“用户名”填写windows机器的用户名；

第五，“域名”可以通过“控制面板”-“用户账号”查看；

第六，单击“连接”，桌面会显示一个如下的图标。

3、双击桌面的图标，此时会提示你输入windows机器的密码，输入即可；

也可以设置“在密钥环中保存密码”，设置一个新的密码。

4、配置结束。