Centos7下Hadoop2.7.4三节点集群搭建

一、准备linux环境
1.准备三台虚拟机（最小化安装），采用NAT联网方式。修改IP为静态IP，示例如下：

vi /etc/sysconfig/network-scripts/ifcfg-eth0
			DEVICE="eth0"
			BOOTPROTO="static"               ###
			HWADDR="00:0C:29:3C:BF:E7"
			IPV6INIT="yes"
			NM_CONTROLLED="yes"
			ONBOOT="yes"					###
			TYPE="Ethernet"
			UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
			IPADDR="192.168.8.111"           ###
			NETMASK="255.255.255.0"          ###
			GATEWAY="192.168.8.2"            ###

“#”为需要添加或修改的地方，最下面三项根据自己的实际情况来。

2.修改各个虚拟机的主机名

vi /etc/sysconfig/network
node1

3.配置主机名与IP的映射关系（三台）

vi /etc/hosts
192.168.8.100 node1
192.168.8.101 node2
192.168.8.102 node3

4.关闭防火墙，关闭开机自启（三台）

service iptables stop
chkconfig iptables off

5.配置免密登录（各个主机之间）
生成密钥
没有ssh命令需要下载openssh-clients
ssh-keygen -t rsa(四个回车)

拷贝公钥到需要的机器上

ssh-copy-id node2

6.同步主机之间的时间
手动

date -s “2019-06-16 08:08:08”

网络同步

yum install ntpdate -y
ntpdate cn.pool.ntp.org

7.安装JDK（三个节点）
7.1上传安装包

rz jdk-8u65-linux-x64.tar.gz

7.2解压安装

tar zxvf jdk-8u65-linux-x64.tar.gz

7.3配置环境变量

vi /etc/profile

在文件末尾添加如下配置

export JAVA_HOME=/root/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

刷新配置

source /etc/profile

二、安装hadoop（三台）
1.上传并解压安装

rz hadoop-2.7.4-with-centos-6.7.tar.gz
tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz

2.修改配置文件
所有需要修改的配置文件都在hadoop安装目录下的/etc/hadoop下，使用vi命令编辑和修改
2.1hadoop-env.sh

vi hadoop-env.sh
export JAVA_HOME=/root/jdk1.8.0_65

2.2core-site.xml，tmp配置中的选项目录需要手动创建例如/root/hadoop/tmp（使用mkdir命令创建）

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node1:9000</value>
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/root/hadoop/tmp</value>
</property>

2.3hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>2</value>
</property>
<property
 	<name>dfs.namenode.secondary.http-address</name>
  	<value>node2:50090</value>
</property>

2.4mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

2.5yarn-site.xml

<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

2.6slaves文件，里面写上从节点所在的主机名字

vi slaves
node1
node2
node3

2.7配置环境变量

vi /etc/proflie
export HADOOP_HOME=/root/hadoop-2.7.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

环境变量配置完成后将文件分发到其他节点，使用scp命令，例如

scp -r /root/hadoop root@node1:/root

2.8格式化namenode

hdfs namenode -format (hadoop namenode -format)

2.9启动hadoop

sbin/start-all.sh

2.10验证
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode (secondarynamenode)
28066 NodeManager
27803 ResourceManager
27512 DataNode
访问hdfs管理页面
http://192.168.8.100:5007