hadoop报错: java.lang.ArrayIndexOutOfBoundsException

原创 2013年12月04日 13:56:33

每次都是跑到map 99%   reduce 33%的时候挂掉


2013-12-04 10:40:45,128 INFO org.apache.hadoop.mapred.Merger: Merging 16 sorted segments
2013-12-04 10:40:45,172 INFO org.apache.hadoop.mapred.Merger: Merging 2 intermediate segments out of a total of 14
2013-12-04 10:40:45,314 INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 8 segments left of total size: 255981 bytes
2013-12-04 10:40:45,324 INFO org.apache.hadoop.mapred.Merger: Merging 16 sorted segments
2013-12-04 10:40:45,385 INFO org.apache.hadoop.mapred.Merger: Merging 2 intermediate segments out of a total of 14
2013-12-04 10:40:45,527 INFO org.apache.hadoop.mapred.Merger: Down to the last merge-pass, with 8 segments left of total size: 163242 bytes
2013-12-04 10:40:45,532 INFO org.apache.hadoop.mapred.Merger: Merging 16 sorted segments
2013-12-04 10:40:45,577 INFO org.apache.hadoop.mapred.Merger: Merging 2 intermediate segments out of a total of 16
2013-12-04 10:40:46,984 INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater with mapRetainSize=-1 and reduceRetainSize=-1
2013-12-04 10:40:46,986 WARN org.apache.hadoop.mapred.Child: Error running child
java.lang.ArrayIndexOutOfBoundsException
	at java.lang.System.arraycopy(Native Method)
	at org.apache.hadoop.mapred.IFile$Reader.rejigDataOffset(IFile.java:460)
	at org.apache.hadoop.mapred.IFile$Reader.readNextBlockAndReserveKey(IFile.java:424)
	at org.apache.hadoop.mapred.IFile$Reader.nextValue(IFile.java:599)
	at org.apache.hadoop.mapred.Merger$Segment.nextValue(Merger.java:243)
	at org.apache.hadoop.mapred.Merger$MergeQueue.next(Merger.java:388)
	at org.apache.hadoop.mapred.Merger.writeFile(Merger.java:157)
	at org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:534)
	at org.apache.hadoop.mapred.Merger$MergeQueue.merge(Merger.java:414)
	at org.apache.hadoop.mapred.Merger.merge(Merger.java:78)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.mergeParts(MapTask.java:1563)
	at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.flush(MapTask.java:1180)
	at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:392)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:325)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:266)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:396)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)
	at org.apache.hadoop.mapred.Child.main(Child.java:260)
2013-12-04 10:40:46,989 INFO org.apache.hadoop.mapred.Task: Runnning cleanup for the task


 解决方法: 

custom param中加入 mapred.ifile.buffer.reset.size.mb:256

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

hive执行查询出现:org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row

Diagnostic Messages for this Task: Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.met...

java.lang.ArrayIndexOutOfBoundsException异常问题

在开发一个JAVA GUI 程序的时候遇到的问题。在建立一个AbstractTableModle时,使用的是POI导入的Excel表格数据,然后先为模型定义了属性组,六个,但在利用Vector导入数据...

kylin报错 java.lang.ArrayIndexOutOfBoundsException: -1

记录一些问题: CDH5.10 kylin1.6当用kylin做报表时,kylin报错 2017-06-26 14:51:52,523 ERROR [IPC Server handler 3 o...

在Eclipse中测试Main函数运行出现Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException:0

在对JAVA中Main函数以及参数String[] args比较迷惑的情况下, 找了百度问了问,得到一个测试的例子  package com.hello; public class HelloW...

Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几...

mysql 删除表记录 delete和truncate table区别

mysql中删除表记录delete from和truncate table的用法区别: MySQL中有两种删除表中记录的方法:(1)delete from语句,(2)truncate table语句。...

多张表UPDATE用法

sql 语句多张表UPDATE用法 一、当用一个表中的数据来更新另一个表中的数据,T-SQL提供多种写法(下面列出了二种),但建议用第一种写法,虽然传统,但结构清晰。飞.飞Asp技术乐园 并且要注...
  • zyu67
  • zyu67
  • 2015-09-16 16:18
  • 5046

数据库 UPDATE多条记录不同值,同时UPDATE多个字段

数据库 UPDATE多条记录不同值,同时UPDATE多个字段。
  • catoop
  • catoop
  • 2015-06-28 14:31
  • 45141

SQL更新数据时多个字段时合在一起的写法

作者:iamlaosong Oracle正常更新一个表中多个字段时,字段是分开写的,例如: update tb_county t set t.prov_name = '安徽', t.city_n...

too much data for RSA block

http://objectmix.com/java/76634-too-much-data-rsa-block.html   Hallo, i have a problem with my ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)