yarn集群搭建

yarn集群搭建

集群规划：
NN-1：Namenode（active）
NN-1：Namenode（standby）
DN ：Datanode
ZK：Zookeeper
ZKFC：Zookeeper Failover Controller
JUN：Journalnode
RS：ResourceManager
NM：NodeManager

服务器名称	进程
node01	NN-1、ZKFC、JUN 、RS
node02	NN-2、DN、ZK、ZKFC、JUN 、RS、NM
node03	DN、ZK、JUN、NM
node04	DN、ZK、NM

首先应当搭建一个高可用完全分布式HDFS，在此基础上搭建yarn集群，前几篇已经写过就不再赘述。

• 1.配置mapred-site.xml文件
  ①打开mapred-site.xml
  文件位于：/解压目录/etc/hadoop/mapred-site.xml
  ②修改配置文件

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

• 2.配置yarn-site.xml文件

①打开mapred-site.xml
文件位于：/解压目录/etc/hadoop/yarn-site.xml
②修改配置文件

 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node01</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node02</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

• 3.启动Zookeeper

——命令：zkServer.sh start

• 4.启动集群
  ——命令：start-dfs.sh
• 5.启动yarn
  ——命令：start-yarn.sh
• 6.在另一个几点单独启动另一个ResourceManager
  ——命令：yarn-daemon.sh start resourcemanager
• 7.执行计算
  ——命令：hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output
  input:是hdfs文件系统中数据所在的目录
  ouput:是hdfs中不存在的目录，计算程序运行的结果会输出到该目录
  以上就是搭建完成了。

未完待续…