马士兵hadoop2.7.3_yarn笔记

• 配置计算调度系统Yarn和计算引擎Map/Reduce
• namenode上配置mapred-site.xml

  1 2 3 4 5

  < property >      < name >mapreduce.framework.name</ name >      < value >yarn</ value > </ property >

• yarn-site.xml的配置

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

  < property >      < name >yarn.resourcemanager.hostname</ name >      < value >master</ value > </ property >   < property >       < name >yarn.nodemanager.aux-services</ name >       < value >mapreduce_shuffle</ value >  </ property >    < property >      < name >yarn.nodemanager.auxservices.mapreduce.shuffle.class</ name >      < value >org.apache.hadoop.mapred.ShuffleHandler</ value > </ property >

• 启动yarn集群start-yarn.sh
• jps观察启动结果
• 可以使用yarn-daemon.sh单独启动resourcemanager和nodemanager
• 通过网页http://master:8088/观察yarn集群
• find /usr/local/hadoop -name *example*.jar 查找示例文件
• 通过hadoop jar xxx.jar wordcount /input /output来运行示例程序
• 通过网页来观察该job的运行情况
• hadoop job -kill job_id --> mapred job -kill job_id mapred job -list
• 经验：yarn-site如果是集中启动，其实只需要在管理机上配置一份即可，但是如果单独启动，需要每台机器一份，在网页上可以看到当前机器的配置，以及这个配置的来源（最好在每台slave中都配置，测试时没有配置slave机器，虽然也可以正常启动，但是master并没有连接到slave上。）

转载于:https://www.cnblogs.com/Jxiaobai/p/6645211.html