CentOS7搭建Hadoop集群的详细操作流程

CentOS7搭建Hadoop集群的详细操作流程

一、准备工作

• 若还没安装虚拟机可参考：VMVMware14虚拟机安装程
• 没安装CentOS的可参考：Linux CentOS安装教程
• Haddop的下载可以到https://mirrors.cnnic.cn/apache/hadoop/common/这个网址下载，下载的时候版本是选择Hadoop2.x.版本。格式文件选择hadoop-2.x.y.tar.gz ，因为是已编译欧了的，而另一个包含 src 的则是 Hadoop 源代码，需要进行编译才可使用。

若有hadoop-2.x.y.tar.gz.mds 这个文件建议也可下载，因为该文件包含了检验值可用于检查hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整，Hadoop 将无法正常运行。想验证文件完整性，可在自行百度搜索，

PS:如果浏览器下载过慢，可复制下载链接到迅雷打开下载。
二、开始搭建虚拟机
前面准备工作完成后即可开始搭建虚拟机，进行hadoop集群操作。

• 下面为三台虚拟机的hostname和IP地址

hostname	Ip地址
Master	192.168.100.10
Slave1	192.168.100.11
Slave2	192.168.100.12

以CentOS7为主机，命名为Master，复制两台虚拟机
找到虚拟机的目录，直接复制两台虚拟机，命名为Slave1，Slave2，并相应打开文件删除
下面的文件

接着打开虚拟机->我的计算机->扫描虚拟机->选择扫描位置浏览到刚才复制的文件->确定完成后对虚拟机重新命名开启即可。

网络配置

1.VMware 网络配置（使虚拟机上的各个节点能够互联，用同一个网段）

• VMnet8(NAT模式)----子网IP设置为：192.168.100.0----NAT设置：网关改为192.168.100.2—确定----去掉使用DHCP选项
  
  
• 开始菜单->运行->services.msc或从控制面板中找到“服务”一项打开如下图所示，找到以vmware开头的服务，确保都启用
  
• 打开控制面板->系统和安全->网络和 Internet->网络和共享中心->更改适配器设置,启用VMnet8
  ,再查看属性，双击Intter协议版本4看IP地址与子网掩码是否配好，若没则进行相应配置。（注意IP地址与子网掩码是于上面虚拟机配置相对应的）
  
  2.CentOS网络配置
  Master节点上修改网卡配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

#ens33为自己本机上的网卡名

进入后先改

BOOTPROTO=static
ONBOOT=yes

后加

 IPADDR=192.168.100.10 #IP地址
 NETMASK=255.255.255.0 #子网掩码
 GATEWAY=192.168.100.2 #网关地址
 DNS1=8.8.8.8         #DNS服务器地址

Slave1、2节点上修改网卡配置，基本和Master上的配置一样，但Slaved1的IP地址改为192.168.100.11，Slaved2的IP地址改为192.168.100.12

点i进入编辑
退出编辑-> esc键 :x

重启网卡
在Master节点和Slave1、2节点上重启网卡

systemctl restart network

关闭掉Master和Slave1、2上的防火墙

systemctl stop firewalld.service   #停止firewall 
systemctl disable firewalld.service #禁止firewall开机启动

修改主机名
CentOS7修改主机名：
hostnamectl set-hostname +主机名

hostnamectl set-hostname Master  
hostname  #查看一下
ls

如果是CentOS6修改主机名则用
vi /etc/sysconfig/network
Master上改主机名

vi /etc/sysconfig/network

修改HOSTNAME=Master

Slave1改主机名

vi /etc/sysconfig/network 

添加HOSTNAME=Slave1

Slave2改主机名

vi /etc/sysconfig/network 

添加HOSTNAME&#