Hadoop学习——Hadoop集群搭建笔记

生而有涯而学无涯

---

最近使用VMWare搭建了一个虚拟的Hadoop集群环境，搭建的过程中参考了很多网上大神的资料，在这里记录下本人实践的全过程，用于以后的查询参考使用，参考的资料会在文末贴出对应的链接。

---

集群配置详情

hostname	ip address	os(Centos7mini)
master	192.168.224.100	Centos7(mini)
slave1	192.168.224.201	Centos7(mini)
slave2	192.168.224.202	Centos7(mini)

其中，master为name node和job tracker结点，slaveN为data node和task tracker

集群机器安装步骤

1.配置虚拟网络
在这里主要是配置虚拟集群的网段及网关。

2.创建虚拟机
网上关于安装虚拟机的教程有很多，按照教程安装即可。我在安装的过程中选择内存1G，1个处理器，20G磁盘，NAT网络方式，使用root登录，没有创建其他用户。
3.配置网络
3.1关闭SELINUX：

vi /etc/selinux/config
SELINUX=disabled
:wq

3.2关闭防火墙：CentOS默认使用firewall作为防火墙。

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态

3.3修改IP地址为静态地址

vi /etc/sysconfig/network-scripts/ifcfg-ens33(ens33--是虚拟机上的网卡名称)

我的master机器上的配置如下，需要注意的是，HWADDR是网卡的MAC地址，DEVICE是网卡的名字，可以使用命令ip addr查看具体信息。