Handoop安装并启动（centos6.5+HDFS HA+Fedaration+YARN）

所需环境：四台主机（笔者用四台VMware虚拟机代替），centos6.5系统，hadoop-2.7.1软件包，jdk1.8.0_91

准备工作：创建四台虚拟主机，使用NAT模式访问网络。

1）在四台虚拟机中安装好hadoop和jdk软件；

2）更改每个主机的主机名: 

[master]下：gedit/etc/sysconfig/network

  NETWORKING=yes

  HOSTNAME=master

  NTPSERVERARGS=iburst

[slave1]下：gedit/etc/sysconfig/network

  NETWORKING=yes

  HOSTNAME=slave1

  NTPSERVERARGS=iburst

[slave2]下：gedit/etc/sysconfig/network

  NETWORKING=yes

  HOSTNAME=slave2

  NTPSERVERARGS=iburst

[slave3]下：gedit/etc/sysconfig/network

  NETWORKING=yes

  HOSTNAME=slave3

  NTPSERVERARGS=iburst

3)更改各个主机的hosts文件：

 [zq@master~]$ sudo gedit /etc/hosts

 [sudo]password for zq:

 在hosts文件中加入：

192.168.44.142 master

192.168.44.140 slave1

192.168.44.143 slave2

192.168.44.141 slave3

同理，在slave1，slave2，slave3中的hosts文件中添加同样ip。

4）关闭各个主机的防火墙：sudoservice iptables stop

 

开始配置安装：

1.设置免密码登录，如上图的结构图所示，ssh免密码登录使master可以免密码访问slave1，slave2，slave3即可，这里不进行详细解说。

2.在hadoop的配置文件中新建文件fairscheduler.xml：

[zq@master ~]$ cd/home/zq/soft/hadoop-2.7.1/etc/hadoop/

[zq@master hadoop]$ touch fairscheduler.xml

[zq@master hadoop]$ gedit fairscheduler.xml

配置fairscheduler.xml文件：

<?xml version="1.0"?>
<allocations>
 	<queue name="infrastructure">
 		<minResources>102400 mb, 50 vcores</minResources>
		<maxResources>153600mb, 100 vcores</maxResources>
		<maxRunningApps>200</maxRunningApps>
		<minSharePreemptionTimeout>300</minSharePreemptionTimeout>
		<weight>1.0</weight>
		<aclSubmitApps>root,yarn,search,hdfs,zq</aclSubmitApps>
	</queue>

	<queue name="tools">
 		<minResources>102400 mb,30 vcores</minResources>
		<maxResources>153600 mb, 50 vcores</maxResources>
	</queue>

	<queue name="sentiment">
 		<minResources>102400 mb,30 vcores</minResources>
		<maxResources>15