hadoop2.7.1在vmware上3台centos7虚拟机上的完全分布式集群搭建

• 集群架构
• centos7的安装
• 安装java
• hadoop全分布
• ssh无密码登录
• hadoop集群正常启动测试

---

以下内容均属个人理解，如有偏差，望大家谅解。

---

集群架构

3台虚拟机都在同一个局域网中，网段是192.168.10.0，子网掩码是：255.255.255.0。

主节点：master.hadoop 192.168.10.2 namenode,SecondaryNamenode,Resource
NameNode
从节点：slavea.hadoop 192.168.10.3 datanode,nodemanage
从节点：slaveb.hadoop 192.168.10.4 datanode,nodemanage

centos7的安装

注意事项：网络选项为桥接。
桥接是将虚拟机当成物理机连接外网。和我们的物理主机在同一个局域网内。需要修改/etc/sysconfig/network-scripts/ifcfg-eno16777736，具体修改BOOTPROTO=static。
NAT是将虚拟机与物理主机隔开，但虚拟机仍可通过NAT服务上网，但是物理主机Ping不到虚拟机，同时，VMnet8的ip是网关。

以主节点为例

创建hadoop账户，以hadoop账户登录。

关闭防火墙：因为防火墙会限制端口的开放。
Linux命令（centos最原始的防火墙是firewall。iptables服务是最新的）是：
firewall-cmd –state 查询防火墙状态
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 禁止firewall开机启动

关闭SELinux服务：SELinux是对系统文件权限的控制。
Linux命令：
禁止SELinux开机启动
sudo vi /etc/sysconfig/selinux
将”SELINUX=enforcing”改成”SELINUX=disabled”,保存退出
关闭SELinux服务
sudo setenforce 0
查询SELinux服务的状态
sudo getenforce
为Permissive则可。

修改主机名
1.修改/etc/hosts（主机与ip的映射文件） 在原有的基础上加上
192.168.10.2 master.hadoop
2.修改/etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=master.hadoop

可以用echo $hostname测试一下

修改ip
修改/etc/sysconfig/network-script/ifcfg-eno16777736,修改或添加以下内容（以下内容有关ip部分根据自己情况填写）：

BOOTPROTO=static
ONBOOT=yes

GATEWAY=192.168.10.1
IPADDR=192.168.10.2
NETMASK=255.255.255.0
DNS1=202.117.112.3

安装java

java 安装包 jdk-8u65-linux-x64.tar.gz
1.解压到/usr/java目录下得到jdk1.8.0_65，tar -zxvf jdk-8u65-linux-x64.tar.gz -C /usr/java/。
2.配置环境：
修改/etc/profile文件，添加以下内容：

#set java enviroment
export JAVA_HOME=/usr/java/jdk1.8.0_65
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export