1、
目录:
YARN产生背景(下图为MapReduce1.x的架构):
(1)
(2)
(3)
(4)总结:
YARN概述:
YARN架构(重点):
参考:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-yarn/hadoop-yarn-site/YARN.html
YARN执行流程:
每个数字标明的都是一个具体的流程,要可以表述出来。
YARN环境搭配:
参考:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.0/hadoop-project-dist/hadoop-common/SingleCluster.html
注意:这里参考的只是YARN on Single Node的环境搭建
步骤概述:
具体步骤:
(1)先修改mapred-site.xml(在/root/app/hadoop-2.6.0-cdh5.14.0/etc/hadoop下),但由于开始时不存在该文件,只有mapred-site.xml.template文件,所以先复制一份mapred-site.xml.template并改名为mapred-site.xml:
现在可以开始修改mapred-site.xml:
(2)修改yarn-site.xml:
(3)启动yarn:
先看看hdfs启动了没有:
然后来到sbin目录下启动yarn:
./start-yarn.sh
然后再用jps命令检查一下是否启动成功:
(4)验证
除了jps外,还可以在本地浏览器上输入hadoop主机ip加8088端口:http://192.168.197.129:8088
(5)yarn启动了之后可以运行mapreduce job
(6)最后可以停掉yarn
MapReduce作业提交到YARN上运行:
我们可以使用官方提供的example jar包(/root/app/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar)运行一个MapReduce的example提交到YARN上运行:
可以使用官方提供的hadoop jar命令直接运行该jar包:
我们使用里面的pi程序作为example计算:
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 2 3
在刚刚的浏览器页面可以看到该作业:
运行结果可以在shell看到: