hadoop2.7.2搭建完全分布式集群

1. 新建虚拟机

2. 修改虚拟机的静态IP

3. 修改主机名,添加主机和ip的映射关系

4. 关闭防火墙 （1-4 通过脚本完成）

5. 创建普通用户
   　　useradd jinghang
   　　passwd jinghang

6. 配置普通用户具有root权限
   　　vim /etc/sudoers
   　　　　在91行下添加如下内容：
   　　　　jinghang ALL=(ALL) NOPASSWD:ALL
   完成后:wq!

7.在/opt目录下创建文件夹（software存放压缩软件包，modul存放解压后的软件包）

• 在/opt目录下创建module、software文件夹

   		mkdir /opt/module /opt/software
  

• 修改module、software文件夹所有者和所属组

   	chown jinghang:jinghang /opt/module /opt/software
  

8、关机拍摄快照

9、从拍照位置克隆三台虚拟机

10、克隆虚拟机有两个网卡(三台都需要改)：

• 进入这个文件 vim /etc/udev/rules.d/70-persistent-net.rules

   	　1.删除 NAME="eth0"这一行
   	　2.修改NAME="eth1" -> NAME="eth0" (:wq!)
   	　3.复制ADDR地址（虚拟mac地址）
   	　4.进入到　vim /etc/sysconfig/network-scripts/ifcfg-eth0
   	　	HWADDR=赋值ADDR地址（虚拟mac地址）
   	　	:wq!　
   	　5.service network restart (如果失败，reboot)　
  

11、修改克隆后虚拟机的ip和主机名、ip主机的映射关系（使用脚本完成）

12、确定任务

• 简介

   HDFS: namenode datanode secondarynamenode
   YARN：resourcemanager nodemanager
   history: historyserver
  

• master(主节点) slaves（从节点）

• hadoop集群默认3个副本，这里集群搭建3台服务器，对应服务器上存放的服务

   Hadoop03 　　　　	Hadoop04 　　　　	Hadoop05 
   datanode 　　 　	datanode 　　 　　   datanode 
   namenode 　　 		resourcemanager 　　 secondarynamenode
   nodemanager 　　	 nodemanager 　　 nodemanager
   historyserver
  

13、编辑 /etc/profile来配置环境

　　[jinghang@Hadoop02 hadoop-2.7.2]$ sudo vim /etc/profile
　　　　#配置JAVA_HOME
　　　　export JAVA_HOME=/opt/module/jdk1.8.0_144
　　　　export PATH=$ PATH:$ JAVA_HOME/bin

　　　　#配置HADOOP_HOME
　　　　export HADOOP_HOME=/opt/module/hadoop-2.7.2
　　　　export PATH=$ PATH:$ HADOOP_HOME/bin
　　　　export PATH=$ PATH:$ HADOOP_HOME/sbin

　　添加完环境source一下：
　　　　[jinghang@Hadoop02 hadoop-2.7.2]$ source /etc/profile

14、查看环境是否配置成功

　[jinghang@Hadoop02 hadoop-2.7.2]$ hadoop version
　[jinghang@Hadoop02 hadoop-2.7.2]$ java -version
　如果java不是1.8.0_144版本
　	卸载之前的版本
　　　rpm -qa | grep java  （查看java安装包）
　　　sudo rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64      （卸载jdk安装包）
　　　sudo rpm -e java-1.7.0-openjdk-1.7.0.181-2.6.14.10.el6.x86_64 --nodeps　　（忽略依赖卸载jdk安装包）

15、配置集群

• 在hadoop-2.7.2目录下：

   vim etc/hadoop/hadoop-env.sh
   	修改JAVA_HOME路径 export JAVA_HOME=/opt/module/jdk1.8.0_144
   vim etc/hadoop/yarn-env.sh
   	修改JAVA_HOME路径 export JAVA_HOME=/opt/module/jdk1.8.0_144
   vim etc/hadoop/mapred-env.sh　
   	修改JAVA_HOME路径 export JAVA_HOME=/opt/module/jdk1.8.0_144
  

• 配置HDFS，在hadoop-2.7.2目录下：

vim etc/hadoop/core-site.xml
添加设置 

<! -- 指定HDFS中NameNode的地址 -->
	<property>
 		<name>fs.defaultFS</name></