hadoop3.2.0集群安装

集群安装步骤

本篇文章是基于centos6.5系统的hadoop3.2.0安装，其他linux系统的其他hadoop版本也同样适用！
hadoop集群有1个Master节点，2个Slave节点，可根据需求自行扩展。

配置IP

[root@master ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=00:0C:29:E9:CA:59
TYPE=Ethernet
UUID=ca629425-b5c0-4dab-a66d-68831a690d8e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=169.254.1.100
NETMASK=255.255.255.0

修改Master节点IP地址为169.254.1.100，其他两Slave节点IP地址分别为169.254.1.101,169.254.1.102。

使IP生效

[root@master ~]# service network restart

参数介绍：
https://www.cnblogs.com/dkblog/archive/2011/12/28/2305004.html
NM_CONTROLLED参数介绍：
https://blog.csdn.net/petrosofts/article/details/80346348

配置hostname

[root@master ~]# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master

修改Master节点主机名为master，其他两Slave节点主机名分别为slave01,slave02。

重启使hostname生效

[root@master ~]# reboot

配置hosts(IP和主机名映射)

[root@master ~]# vim /etc/hosts
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
169.254.1.100 master
169.254.1.101 slave01
169.254.1.102 slave02

关闭防火墙和selinux

[root@master ~]# service iptables stop(临时关闭防火墙)
[root@master ~]# chkconfig iptables off(重启生效)
[root@master ~]# setenforce 0(临时关闭selinux)
[root@master ~]# vim /etc/selinux/config
修改
SELINUX=disabled(重启生效)

修改swappiness参数并禁用透明大页面压缩

[root@master ~]# echo 10 > /proc/sys/vm/swappiness
禁用大内存页面
[root@master ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@master ~]# vim /etc/rc.local
末尾追加
echo never > /sys/kernel/mm/transparent_hugepage/defrag

Cloudera版本会要求修改这些参数，Apache版本可以忽略。

配置时间同步

Master节点配置如下：

[root@master ~]# vim /etc/ntp.conf
restrict 0.0.0.0 mask 0.0.0.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10
driftfile /var/lib/ntp/drift
broadcastdelay 0.008
keys /etc/ntp/keys
includefile /etc/ntp/crypto/pw
restrict 127.0.0.1
restrict -6 ::1

两个Slave节点配置如下：

[root@slave01 ~]# vim /e