【大数据】开发环境搭建（二）：hadoop伪分布式集群环境搭建（上）

（一）Linux虚拟机的配置

我们通过第一篇文章只安装了一个Linux，为了做分布式集群环境的搭建，显然只有一个虚拟机是完完全全不够用的，因此我们需要多准备几个Linux虚拟机，当然不是通过多次安装来搭建，这样太浪费安装时间了，所以我们通过复制已有的Linux虚拟机来完成，当然得先检查Linux的状态才能复制，通过右键进行设置

salve1和slave2是楼主事先已经安装好了的，这里分布式集群搭建完成以前可以无视这里的slave1和slave2

，如果所示，我将原先的Linux虚拟机复制了两次，并且对副本进行类重命名为slave1和slave2

打开我们的虚拟机VMware，点击打开虚拟机，对刚刚我们复制号的CnetOS镜像副本进行加载，加上之前的虚拟机，先VMware上已经有3台虚拟机类，此时，我们将这三台虚拟机都运行起来，打开过程中会出现如下对话框，

这是正常情况，点击我已复制该虚拟机。复制时会将原来的虚拟机帐号密码，NAT环境全部都复制过来，复制完成以后还需要进行配置。

此时对三台虚拟机使用curl www.baidu.com检查网络环境，会发现只有第一台进行检测的机子才能 正常上网，因为复制的时候是连IP地址都已经复制类，导致网络冲突

这里我们统一更改slave1和slave2，让IP地址连续方便记住，分别进入终端进行修改，

cd /etc/sysconfig/network-scripts/  

ls

su获取权限以后

然后找到ifcfg-eth0这个文件，进去编辑，将IP地址的最后一个字节从10改为11，12，连续性会方便我们记忆和后面使用

然后分别重启网络环境  /etc/init.d/network restart

检查完IP地址已经成功修改，但是到这一步，你会发现仍然上不了网，因为是复制过来的，所以网卡信息也复制过来了，通过ifconfig，会发现三台虚拟机的网卡信息也是一模一样的，如上图中的HWaddr字段即网卡信息。所以需要先卸载掉slave1和slave2的网卡信息，点击右下角网络设置

第一步：选中左边的网络适配器，然后点击移除

第二步：添加新的网络适配器，

第三步：点击确定保存

然后分别对slave1和slave2使用ifconfig检查网卡信息和curl www.baidu.com查看网络状态，发现三台虚拟机都能正常上网而网卡也没有冲突了。

（二）SecureCRT的配置

打开我们之前已经配置好的SecureCRT的终端，选中之前配置好的选项，进行复制粘贴，如图所示

分别选中第二项和第三项右键单机Properties

修改图中对应的选项，修改SecureCRT链接Linux的IP地址。

然后分别在SecureCRT运行这3个虚拟机，其中通过复制产生的虚拟机单机后会弹出如下对话框

SecureCRT链接Linux虚拟机成功以后，ifconfig，分别查看3台虚拟机的IP地址和网卡信息，验证是没有冲突的。

再检查3台虚拟机是否能上网以及是否乱码 curl  www.baidu.com

（三）Linux安装java环境

虚拟机默认是没有java环境的，因此需要我们自己安装，在SecureCRT中输入java可以验证你的虚拟机是否已经安装好java环境。在分布式集群中，为了降低各个机器之间的差异性，我们应尽量保持各个虚拟机之间硬件、软件的一致性。其中，主节点需要额外的内存开销，在真正的生产环境中，给master多分配一些内存资源。而从节点需要额外的磁盘空间，所以给slave分配多一点磁盘空间。

首先我们需要创建各个虚拟机之间的贡献文件，右键重命名为master的虚拟机，选择设置，切换到选项卡，

点击添加后会弹出一个共享文件夹的创建向导，按照提示选中要共享的目录，这里我们要共享的目录当然是装着java的文件夹

这里我要共享的是放在虚拟机路径下的share_folder，共享成功后，这3台虚拟机将都可以同时使用，接下来，我们来验证是否共享成功，如果共享成功将会在/mnt/hgfs/目录下发现被共享的文件夹“share_folder”。

cd /mnt/hgfs

ls

出现显示了share_folder，

cd share_folder/

会出现该文件夹下如图所示的文件。

先获取权限：su

接下来我们将会用到这两个安装工具.拷贝该两个文件到/usr/local/src/中

cp * /usr/local/src/

cd /usr/local/src/

输入ll   查看是否有权限，然后直接运行该软件

./jdk-6u45-linux-x64.bin

首先找到java安装的路径，后面要用到

运行./bin/java

为了能让系统自动找到该目录，我们需要把它配置到环境路径中去，拷贝如图所示的java路径

安装成功以后，配置java环境变量

vim ~/.bashrc

编辑完成以后

然后我们进入根目录，执行

java

将会看到一系列关于java的信息，证明环境配置成功

which java 

可以看到java的路径，到这里master的java已经安装完毕。接着安装slave1和slave2的java环境

在master中进入java所在的路径

cd /usr/loacal/src/

ll

然后找到java.bin文件，将其拷贝到slave1和slave2中去，

scp -rp jdk-6u45-linux-linux-64.bin  slave1或slave2的IP地址:/usr/local/src/

拷贝完成后的信息。然后切换到slave1和slave2获取权限后分别进行如master一样的安装过程