基于CentOS-6.9+VM12的Hadoop集群搭建

在开始大数据正式学习的第一步，便是大数据环境的搭建，而对于从未接触过相关内容的大数据小白来说，集群的搭建确实是一件令人头疼的事。

不过，遇到事情不怕事，怀着学习之心去解决困难应该是每一个人的应有品质。

下面，笔者将结合自身所学，一步步带领大家从0开始到Hadoop大数据集群的完整搭建。

注：
假定读者已经掌握Linux相关基础命令，因为后面的内容涉及到Linux系统的操作，如果有读者还不熟悉的话，建议先了解Linux的基础命令操作，熟悉之后再回过头来便会轻松许多。

开始之前，先来解释几个概念：
1.绝对路径、相对路径
相较于Windows，在没有可视化界面的Linux系统，就显得对用户不太友好。虽然也可以安装可视化界面，但基本上都是在黑色屏幕前做着各种操作，操作往往涉及到路径，所以知道路径至关重要。

路径有两种，一种是绝对路径，是某个文件、文件夹在系统中的完整路径。比如，把江西省看作是一个系统的话，南昌理工学院，它的完整路径应该是江西省南昌市青山湖区冠山管理处南昌理工学院，知道这个路径便可准确找到南昌理工学院了。

而相对路径，便是相对于某个文件、文件夹的位置，它是根据一个已知的位置去定位描述一个位置。比如，我当前的位置是青山湖区，这个是已知的，那么南昌理工学院，便是相对路径，是基于你处于青山湖区而言，如果你不知道青山湖区，那么你就不能准确找到南昌理工学院了。

对应于Linux系统便是/xx/xx/xx,它最明显的特征便是最前面有一个‘ / ’，‘ / ’是根目录的意思，区别判断一个路径是绝对路径，只要看它最前面有没有‘ / ’，有的话就是绝对路径，没有的话就是相对路径。还有一个‘ ./ ’,它代表当前路径，即你现在所处的路径位置。

2.Hadoop的伪分布，全分布：
对于资金、配置有限的学生来说，想要搭建集群，玩起Hadoop，最好的办法便是用虚拟化软件虚拟几台主机，来集群搭建。

Hadoop集群搭建有伪分布、全分布两种：

伪分布，顾名知意，模拟分布式，它是一台主机模拟运行一个规模较小的集群，对于大数据处理容易出现瓶颈，上手较快，适合教学场景。

全分布，是将多台主机联系起来，构成集群，共同运行完成服务。

虚拟机的创建

1.下载好VMware12:
https://www.so.com/link?m=an0TCoWh%2FG3vtR0mlyVnwWRisk140sTt5LlNlryn1GwLkpZnxibEqsjwO2C3X9e00aazByiMEikFGfom%2B7CpTUkhGaN3wWUK2E1%2FkY1wiYUm7vZYGx80EiBp53DEaBTgLOFNPFpwQwlk%3D

2.安装并打开：

3.单击文件新建虚拟机，选择自定义类型，下一步：

4.默认，下一步:

5.

7.为虚拟机创建名称，这里我命名为bigdata01,并将它存放在非c中。

9.这里我给他分配2G
.

13.

17.把usb、声卡、打印机分别移除。

21.至此虚拟机创建成功。

22.在windows中输入ipconfig,查看vm8的IPV4地址前三个网段与虚拟网络编辑器中vm8子网地址前三个网段一致。

23.将创建好的虚拟机开机，进行配置，由于步骤简单，这里不再赘述。

配置ip地址（IPADDR），网关(GATEWAY)，子网掩码(NETMASK),映射等:

1.网卡配置：

输入命令vi /etc/sysconfig/network-scripts/ifcfg-eth0,进行网卡配置。

将ONBOOT改为yes,BOOTPROTO改为static,并添加IPADDR,NETMASK,GATEWAY如图，注意IPADDR中前三个网段要与虚拟机中虚拟网络编辑器vm8中子网前三个网段一致。
修改好保存退出，再输入命令service network restart,重启网卡。

2.映射：
输入命令vi /etc/hosts,输入要分配的IP地址和对应的主机名，如图bigdata01,bigdata02,bigdata03。注意，每台主机的ip前三个网段都要与之前虚拟网络编辑器中vm8中子网前三个网段相同，第四个网段可随意，范围在0 ~ 256即可。

保存退出即可。

安装JDK，Hadoop。

安装jdk,版本不要太高，高版本与Hadoop可能有冲突，这里是jdk8版本，hadoop是2.7.3版本。
下载winscp,一款用于在windows和linux中传输文件的软件。
添加链接描述

用bigdata01的ip登录winscp,将下载好的jdk,hadoop托进linux的/opt/目录中。

在/opt/目录下创建文件夹software用于存放解压后的软件。

用tar -zxvf hadoop-2.7.3.tar.gz -C ./software/和tar -zxvf jdk-8u40-linux-x64.gz -C ./software/命令分别将jdk和hadoop解压到software目录中。

进入software目录，用mv hadoop-2.7.3/ hadoop和mv jdk1.8.0_40/ jdk将jdk和hadoop改名,如图。

进入jdk，hadoop查看路径。

键入vi /etc/profile,编辑系统环境变量，按shift + G 跳到文件最后一行，将jdk,hadoop的路径添加进去,如图。

保存退出，键入source /etc/profile,使环境变量生效。