MapReduce运行报错时如何定位到错误信息

最新推荐文章于 2024-06-14 14:18:14 发布
最新推荐文章于 2024-06-14 14:18:14 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： MapReduce 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011135852/article/details/105924992
版权

当用命令行运行mr的时候程序跑得好好的，但一放到hadoop里面就报错，关键不知道怎么定位到mr报错，经过总结如下：

当遇到  INFO mapreduce.Job: Job job_1588308947581_0024 failed with state FAILED due to: Task failed task_1588308947581_0024_m_000000 报错时, 如下图

可以直接定位到从节点报错日志的路径下面  /usr/local/src/hadoop-2.6.5/logs/userlogs/application_1588308947581_0024/container_1588308947581_0024_01_000006，然后查看stderr文件就知道报错在哪了，如图

 

天马行空KY
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop运行任务时一直卡在: INFO mapreduce.Job: Running job
u013058936的博客
02-10 2089
尝试过网上各种解决方案无效，最后将虚拟机设置的处理器的内核数量从1改为8解决。 ============================================================================= 后来做的修改； 2、修改Hadoop home下的/etc/hadoop下的capacity-scheduler.xml中的maximum-a...
大数据技术之Hadoop（MapReduce） 第8章 常见错误及解决方案
尚硅谷铁杆粉丝的博客
08-23 1010
1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullWritable，不可以是IntWritable.  报的错误是类型转换异常。 3）java.lang.Exception: java.io.IOException: Illegal partition for 13926435656 (4...
hadoop通过log分析mapreduce的过程及定位错误、分析问题
xuefengmiao的专栏
06-10 870
网上有很多mapreduce的源码解析以及执行过程，这里从相关的日志角度看mapreduce的执行过程，以便于在通过日志分析定位分析问题 先简单说一下mapreduce的执行过程，如下图： 1、应用程序客户端client准备作业(数据split划分，作业配置等)，并上传值HDFS中；并提交作业至JobTracker。 2、JobTracker根据job的配置信息(jobc
mapreduce.Job: Job job_local510921130_0001 failed with state FAILED due to: NA
qq_46665939的博客
12-19 1978
在写MapReduce程序时出现： Job job_local510921130_0001 failed with state FAILED due to: NA 解决方案： 检查输入文件发现，输入文件中多出了一个空行。将空行去掉，再次运行得到成功！
mapreducer报错
m0_53676680的博客
11-27 354
Job job_local393972960_0001 failed with state FAILED due to: NA 这个问题出现代表你代码里面有错误，各个错误不尽相同，我的错误是在map阶段输出的kv值，在写driver时设置错误写反了，以后有错误还会再发帖 ...
MapReduce执行任务时卡在mapreduce.Job: Running Job这一步该如何解决
热门推荐
sinat_33769106的博客
07-03 1万+
问题描述：在centos7系统搭建的伪分布式Hadoop基础上，用Sqoop把HDFS上的数据导出到Mysql的时候，发现任务执行时卡死在如下图所示的这一步：卡了接近十分钟意识到可能永远也不会结束了....赶紧ctrl+c结束进程，找找原因。首先搜了下资料，发现大多数教程都说是内存不足引起的，可在运行这个命令之前只运行过一次wordcount例程，按道理不可能占用过多内存。排除内存问题。打开had...
mapreduce任务卡在INFO mapreduce.Job: Running job
bigtiger1648的专栏
10-31 1194
http://123.123.123.123:50070/logs/ 确定日志中无报错信息，有的话就先解决。 如 上述措施还不顶用 将mapred-site.xml中 <property> <name>mapreduce.framework.name</name> <value&gt...
MapReduce作业运行流程
01-07
基本概念 MapReduce采用了Master/Slave架构，包括一个Master和若干个Slave，Master上运行JobTracker，Slave运行TaskTracker ...3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、
大数据平台构建：MapReduce运行原理.pptx
06-21
MapReduce运行原理 MapReduce运行阶段 1 MapReduce运行架构 2 目 录 一、MapReduce运行阶段 MapReduce重点会分为四个运行阶段，分别是：Split、Map、Shuffle、Reduce。 什么是MapReduce 一、MapReduce运行阶段 此...
大数据MapReduce实现IP定位
05-17
【大数据】MapReduce实现IP定位源码+数据
不同MapReduce运行系统的性能测试与分析
04-16
随着云计算技术的发展,许多MapReduce运行系统被开发出来,如Hadoop、Phoenix和Twister等。直观上,Hadoop具有很强的可扩展性、稳定性,适合处理大规模离线应用;Phoenix具有运行速度快等优点,适合处理数据密集型任务;...
MapReduce运行机制GIF动画图
06-25
官方MapReduce运行机制动画图，详细描述Job的提交流程
INFO mapreduce.Job: Job job_1609687269347_0001 failed with state FAILED due to: Task failed task_160
m0_53886865的博客
01-03 4897
当遇到job错误时，可以打开job，查看错误再解决 21/01/03 10:24:54 INFO mapreduce.Job: map 100% reduce 0% 21/01/03 10:24:55 INFO mapreduce.Job: map 100% reduce 100% 21/01/03 10:24:58 INFO mapreduce.Job: Job job_1609687269347_0001 failed with state FAILED due to: Task failed ta
解决执行MapReduce代码是报如下错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_
LBJ_小松鼠的博客
12-04 7305
我们再执行MapReduce代码时报了一个如下的错误: Job job_1607082280342_0001 failed with state FAILED due to: Task failed task_1607082280342_0001_r_000000 Job failed as tasks failed. failedMaps:0 failedReduces:1 Job job_1607082280342_0001 failed with state FAILED due to: Task
hadoop中mr程序部署上系统时报”拒绝连接“的错误
进击的博客
11-09 1041
错误具体详情如下： INFO mapreduce.Job: Job job_1510233562271_0004 failed with state FAILED due to: Application application_1510233562271_0004 failed 2 times due to Error launching appattempt_1510233562271_000
写MapReduce程序时遇到错误Error:Job job_local202008051121_0001 failed with state FAILED due to: NA
qq_20016465的博客
08-06 6786
写MapReduce程序时遇到错误Error:Job job_local202008051121_0001 failed with state FAILED due to: NA
写MapReduce程序时遇到错误Error: INFO - Job job_local1832672383_0001 failed with state FAILED due to: NA
weixin_54527017的博客
05-26 4334
写MapReduce程序时遇到错误Error:INFO - Job job_local1832672383_0001 failed with state FAILED due to: NA 查看发现有错误 第一次遇到这个问题时候，我查了很久没有查出来~ 网上的资料也很少所以便记录一下这次的bug！！其实原理很简单，我自己类型弄错了哭死~~~ 找寻方法如下~~ 需要重新查看自己所输入的类型是否一致！！ 因此将IntWritable 改为LongWritable就可以了 下图为我的Mapp.
Hadoop提交MR任务
最新发布
别人笑我太疯癫，我笑他人看不穿。
06-14 332
mapreduce.map.java.opts=-Xmx1638m 这个是设置Map任务暂用JVM堆内存大小为1638MB（留一些内存给JVM进程本身）。mapreduce.reduce.java.opts=-Xmx3276m 设置Reduce任务的JVM堆内存大小为3276MB。mapreduce.reduce.memory.mb=4096 设置每个Reduce任务的内存为4096MB。mapreduce.map.memory.mb=2048 设置每个Map任务的内存为2048MB。
mapreduce报错
05-27
如果您的MapReduce程序在运行时报错，通常会输出错误信息和堆栈跟踪信息。根据错误信息和堆栈跟踪信息，您可以尝试确定错误的原因并采取相应的措施。以下是一些常见的MapReduce错误和处理方法： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值