hadoop报错: java.lang.ArrayIndexOutOfBoundsException

原创 2013年12月04日 13:56:33

每次都是跑到map 99%   reduce 33%的时候挂掉


2013-12-04 10:40:45,128 INFO org.apache.hadoop.mapred.Merger: Merging 16 sorted segments
2013-12-04 10:40:45,172 INFO org.apache.hadoop.mapred.Merger: Merging 2 intermediate segments out of a total of 14
2013-12-04 10:40:45,314 INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 8 segments left of total size: 255981 bytes
2013-12-04 10:40:45,324 INFO org.apache.hadoop.mapred.Merger: Merging 16 sorted segments
2013-12-04 10:40:45,385 INFO org.apache.hadoop.mapred.Merger: Merging 2 intermediate segments out of a total of 14
2013-12-04 10:40:45,527 INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 8 segments left of total size: 163242 bytes
2013-12-04 10:40:45,532 INFO org.apache.hadoop.mapred.Merger: Merging 16 sorted segments
2013-12-04 10:40:45,577 INFO org.apache.hadoop.mapred.Merger: Merging 2 intermediate segments out of a total of 16
2013-12-04 10:40:46,984 INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater with mapRetainSize=-1 and reduceRetainSize=-1
2013-12-04 10:40:46,986 WARN org.apache.hadoop.mapred.Child: Error running child
java.lang.ArrayIndexOutOfBoundsException
	at java.lang.System.arraycopy(Native Method)
	at org.apache.hadoop.mapred.IFile$Reader.rejigDataOffset(IFile.java:460)
	at org.apache.hadoop.mapred.IFile$Reader.readNextBlockAndReserveKey(IFile.java:424)
	at org.apache.hadoop.mapred.IFile$Reader.nextValue(IFile.java:599)
	at org.apache.hadoop.mapred.Merger$Segment.nextValue(Merger.java:243)
	at org.apache.hadoop.mapred.Merger$MergeQueue.next(Merger.java:388)
	at org.apache.hadoop.mapred.Merger.writeFile(Merger.java:157)
	at org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:534)
	at org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:414)
	at org.apache.hadoop.mapred.Merger.merge(Merger.java:78)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.mergeParts(MapTask.java:1563)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1180)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:392)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:325)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:266)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
	at org.apache.hadoop.mapred.Child.main(Child.java:260)
2013-12-04 10:40:46,989 INFO org.apache.hadoop.mapred.Task: Runnning cleanup for the task


 解决方法: 

custom param中加入 mapred.ifile.buffer.reset.size.mb:256

java.lang.ArrayIndexOutOfBoundsException异常分析及解决

这是一个非常常见的异常,从名字上看是数组下标越界错误,解决方法就是查看为什么下标越界。下面是一个错误示例: Exception in thread "main" java.lang.ArrayInde...
  • JavaEETeacher
  • JavaEETeacher
  • 2009年08月26日 10:52
  • 181113

java项目从win上布署到linux上报java.lang.ArrayIndexOutOfBoundsException错误

这种错误是我在浏览一篇博文上看到的,具体原因是:在linux环境UTF8下每个汉字的字节数为3位(Windows中是2位)的缘故,出现了上诉的奇异现象。  这种错误是我在浏览一篇博文上看到的,...
  • u012255097
  • u012255097
  • 2016年09月14日 00:25
  • 437

Java SimpleDateFormat 线程不安全问题及解决方法

Java SimpleDateFormat 是线程不安全的,当在多线程环境下使用一个DateFormatd
  • suifeng3051
  • suifeng3051
  • 2014年05月07日 16:43
  • 2491

hive中的 数组越界异常 IndexOutOfBoundsException

java.lang.RuntimeException: Hive Runtime Error while closing operators at org.apache.hadoop.hive.ql...
  • sinat_27047149
  • sinat_27047149
  • 2015年07月21日 20:20
  • 1224

eclipse运行mapreduce 提示:Caused by: java.lang.ArrayIndexOutOfBoundsException

eclipse运行mapreduce 提示:Caused by: java.lang.ArrayIndexOutOfBoundsException
  • qq_26840065
  • qq_26840065
  • 2016年04月07日 17:13
  • 1442

讲解Java异常的文章

六种异常处理的陋习 你觉得自己是一个Java专家吗?是否肯定自己已经全面掌握了Java的异常处理机制?在下面这段代码中,你能够迅速找出异常处理的六个问题吗? 1 Outpu...
  • ye1992
  • ye1992
  • 2013年06月14日 11:07
  • 1761

kylin报错 java.lang.ArrayIndexOutOfBoundsException: -1

记录一些问题: CDH5.10 kylin1.6当用kylin做报表时,kylin报错 2017-06-26 14:51:52,523 ERROR [IPC Server handler 3 o...
  • jsjsjs1789
  • jsjsjs1789
  • 2017年06月30日 14:18
  • 834

java.lang.ArrayIndexOutOfBoundsException: 2

1、错误描述java.lang.ArrayIndexOutOfBoundsException: 2 at report.service.impl.ExportServiceImpl$7.setShe...
  • you23hai45
  • you23hai45
  • 2015年11月14日 00:05
  • 7408

zookeeper——启动zookeeper中的常见问题

原文地址:http://hi.baidu.com/luhao8415/item/23c6e7f075aa18b730c1993a 最近常有启动zookeeper出现问题的,整理下贴出来,以后也可以参考...
  • qinglu000
  • qinglu000
  • 2013年08月07日 13:46
  • 71208

eclipse出现Exception in thread "main" java.lang.NoClassDefFoundError

昨天晚上在跑hadoop程序的时候,新建了一个工程不知怎么地就一直出现Exception in thread "main" java.lang.NoClassDefFoundError, 错误如下: ...
  • doc_sgl
  • doc_sgl
  • 2013年07月21日 10:31
  • 39216
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop报错: java.lang.ArrayIndexOutOfBoundsException
举报原因:
原因补充:

(最多只允许输入30个字)