yarn安装与测试

1,配置计算调度系统yarn和计算引擎Map/Redece

2. namenode配置mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
3.节点配置yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
 
<property
    <name>yarn.nodemanager.aux-services</name
    <value>mapreduce_shuffle</value
</property
 
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
4.启动yarn集群

start-yarn.sh

5.运行jsp观察集群结果

6.可以使用yarn-daemon.sh单独启动resourceManager和nodemanager

7.通过网页http://master:8000/观察yarn集群

8.find /usr/local/hadoop -name *example*.jar查找示例文件

9.通过hadoop.jar xxx.jar wordcount /input   /output 来运行示例程序

10.通过网页来观察该job的运行情况

11.hadoop job -kill job_id   -->mapred job -kill   job_id  mapred job -list

12.yarn-site 如果是集中启动,其实只需要在管理机上配置一分即可,但是如果单独启动,需要每台机器一份,在网页上可以看到当前机器的配置,以及这个配置的来源


阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页