Hadoop yarn 8088看不到mapreduce任务进度的解决办法

        昨天在学习yarn时突然发现我竟然查不到mapreduce的任务进度,于是上网查询了不少的资料,发现有好多人有着同样的问题,但是解决办法好像并不相同,但大都是要修改yarn-site.xml和mapred-site.xml这两个配置文件。以下给出我的一种解决这一问题的过程。

在运行mapreduce的wordcount程序时是这个界面:

首先尝试将mapred-site.xml中的:

  <property>
    <name>mapreduce.job.tracker</name>
    <value>hdfs://ip:8001</value>  <!--ip为自己的ip地址-->
    <final>true</final>
  </property>

改成:

<property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
</property>

原因是前者map服务并没有跑在yarn上。之后再次运行mapreduce程序,结果又出现了如下问题

任务一直卡在这里,于是乎,考虑是内存不足的原因,于是尝试将yarn-site.xml中的以下内容:

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
 </property>

 修改为:

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
 </property>

之后再次启动集群,再次运行,发现仍然卡在那。之后看网上对于这个问题的一些解决办法是要把第一次改的东西再改回去,即让它在默认配置下运行,但这样不就又回到了map服务没有跑在yarn上。于是乎,我尝试在yarn-site.xml中增加的以下内容:

<property>
<name>yarn.nodemanager.env-whitelist</name>             
 <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property>
    <name>yarn.application.classpath</name>
    <value>/opt/software/hadoop-3.0.0/etc/hadoop:/opt/software/hadoop- 
3.0.0/share/hadoop/common/lib/*:/opt/software/hadoop-3.0.0/share/hadoop/common/*:/opt/software/hadoop-3.0.0/share/hadoop/hdfs:/opt/software/hadoop-3.0.0/share/hadoop/hdfs/lib/*:/opt/software/hadoop-3.0.0/share/hadoop/hdfs/*:/opt/software/hadoop-3.0.0/share/hadoop/mapreduce/*:/opt/software/hadoop-3.0.0/share/hadoop/yarn:/opt/software/hadoop-3.0.0/share/hadoop/yarn/lib/*:/opt/software/hadoop-3.0.0/share/hadoop/yarn/*</value>
  </property>

其中classpath下value的值为在Linux命令行输入:hadoop classpath所显示的结果。

之后再次运行mapreduce程序:

 成功。

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值