hadoop运行计算pi或running job卡住或 map 0% reduce 0%

标签: hadoop运行计算pi running job卡住  map 0% reduce 0%卡住 hadoop运行自带例子出错
8人阅读 评论(0) 收藏 举报
分类:

1.出现MapReduce任务运行到running job卡住

一:如下异常:

Starting Job
16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032
16/06/30 01:15:35 INFO input.FileInputFormat: Total input paths to process : 2
16/06/30 01:15:35 INFO mapreduce.JobSubmitter: number of splits:2
16/06/30 01:15:35 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1467220503311_0001
16/06/30 01:15:35 INFO impl.YarnClientImpl: Submitted application application_1467220503311_0001
16/06/30 01:15:35 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1467220503311_0001/
16/06/30 01:15:35 INFO mapreduce.Job: Running job: job_1467220503311_0001

如图:
这里写图片描述

2.运行wordcount或者是计算pi值的时出现问题

显示
Map reduce job getting stuck at map 0% reduce 0%

~/tmp$ hadoop jar wordcount.jar WordCount /testhistory /outputtest/test
Warning: $HADOOP_HOME is deprecated.

13/08/29 16:12:34 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/08/29 16:12:35 INFO input.FileInputFormat: Total input paths to process : 3
13/08/29 16:12:35 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/29 16:12:35 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/29 16:12:35 INFO mapred.JobClient: Running job: job_201308291153_0015
13/08/29 16:12:36 INFO mapred.JobClient:  map 0% reduce 0%

二:分析解决

1:可能由于集群所在的空间磁盘不足所致。

2.yarn配置不完整所致。修改前:

<configration><property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configration>

添加下面的语句或者是将对应的地方修改为:

<property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>

重启集群start-all.sh即可!

查看评论

MapReduce任务运行到running job卡住

之前使用Apache的hadoop跑各种MR应用均没出现问题,然而使用CDH版的hadoop运行到running job却卡住了。...
  • aspkhdp
  • aspkhdp
  • 2015-11-23 16:13:26
  • 8723

Hadoop运行中NameNode闪退和运行mapreducer时卡在Running job.....

开始安装Hadoop时 第一次成功启动 包括MapReducer程序也能成功运行。后来不知道什么原因 进入了Safe mode即使退出了安全模式照样不能对HDFS进行任何修改操作,索性hdfs nam...
  • u013087513
  • u013087513
  • 2017-08-18 12:55:47
  • 850

记Hadoop2.5.0线上mapreduce任务执行map任务划分的一次问题解决

近日在线上发现有些mapreduce作业的执行时间很长,我们需要解决这个问题。输入文件的大小是5G,采用了lzo压缩,整个集群的默认block大小是128M。本文将详细描述这次线上问题的排查过程。...
  • beliefer
  • beliefer
  • 2016-07-14 13:31:59
  • 11751

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job

Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
  • dai451954706
  • dai451954706
  • 2016-01-05 18:04:53
  • 10850

hadoop map 100% reduce0%就卡住了,解决办法

今日转ubuntu下学习hadoop,但是很不
  • u012500825
  • u012500825
  • 2014-07-04 18:41:19
  • 960

使用sqoop将数据从hdfs中导入mysql时,卡在INFO mapreduce.Job: map 100% reduce 0%的解决办法

最近在将hdfs中已经处理好的数据导入到mysql的时候遇到这么一个现象,当任务执行到 INFO mapreduce.Job: map 100% reduce 0% mapreduce任务卡在m...
  • zhou_shaowei
  • zhou_shaowei
  • 2017-04-20 20:32:26
  • 1412

map 0% reduce 0% 然后卡死的解决方案

在运行几次mapreduce任务后,再启动一次会出现系统卡死的情况。。。百度到的几种方法都木有用。。。偶然发现ubuntu下有个system monitor,打开发现内存占用率很高,swap分区差不多...
  • Infinite8125
  • Infinite8125
  • 2015-08-23 15:20:05
  • 2381

mapreduce job一直卡住

16/07/15 17:34:41 INFO input.FileInputFormat: Total input paths to process : 1 16/07/15 17:34:42 INF...
  • linux_ja
  • linux_ja
  • 2016-07-15 17:41:34
  • 1624

hadoop问题之 运行一直卡在map100% ,reduce0%

如果hadoop运行例子或者自己编写的程序卡在了map100,reduce 0%, 那么可能是/etc/hosts文件的问题,在/etc/hosts文件里加入127.0.0.1 "PCname“ 的对...
  • zhangningdlut
  • zhangningdlut
  • 2014-02-03 11:12:15
  • 1811

hadoop Map 100% reduce 0% 问题

问题描述: 在伪装
  • freeworkman
  • freeworkman
  • 2014-08-24 18:46:45
  • 1451
    个人资料
    持之以恒
    等级:
    访问量: 1万+
    积分: 808
    排名: 6万+
    最新评论