Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程

Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程

  前面的文章已经对MR和Yarn做了基本介绍，本文主要介绍MR和Yarn的安装部署流程

1、角色划分

  NodeManager和DataNode一般都是1:1，主要是为了计算向数据移动，如果NM和DN分开，就得用网路拷贝数据，在Yarn的体系里NM也是从节点，既然其和DN是1:1的关系，所以配置中和HDFS共用一个slaves文件

	NN	JN	DN	ZKFC	ZK	RM	NM
hdp001	*	*		*	*
hdp002	*	*	*	*	*		*
hdp003		*	*		*	*	*
hdp004			*		*	*	*

2、单节点部署

2-1 修改mapred-site.xml

  <property><!--运行在yarn上-->
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
  </property>

2-2 修改yarn-site.xml

    <property><!--由NodeManager负责拉取数据，不然同一个NM上有多个reduce任务，则会出现重复和map任务所在节点建立连接的情况-->
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
    </property>

2-3 start-yarn.sh

3、HA模式部署

3-1 修改mapred-site.xml【和单机版一样】