hadoop错误汇总
问题:环境中的hadoop因为一些原因需要重启,在使用stop-all.sh和start-all.sh命令重启后,出现了,hadoop集群无法访问,
hadoop的web页面也无法打开。
查看日志还有namenode的端口后,发现hadoop的namenode节点无法启动成功。出现一下错误。
2013-03-16 10:59:30,857 INFO org.apache.hadoop.hdfs.server.common.Storage: Number of files under construction = 0
2013-03-16 10:59:30,857 INFO org.apache.hadoop.hdfs.server.common.Storage: Image file of size 203238 loaded in 0 seconds.
2013-03-16 10:59:30,870 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.ArrayIndexOutOfBoundsException: -1
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addChild(FSDirectory.java:1099)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addChild(FSDirectory.java:1111)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.unprotectedMkdir(FSDirectory.java:996)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.unprotectedMkdir(FSDirectory.java:983)
at org.apache.hadoop.hdfs.server.namenode.FSEditLog.loadFSEdits(FSEditLog.java:710)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSEdits(FSImage.java:1021)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:839)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:377)
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:100)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:388)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:362)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)
2013-03-16 10:59:30,870 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at c01.cloudiya.com/192.168.0.112
上面的日志看不到直接的错误信息,猜测和检查文件和文件夹有关系。使用命令重启后,datanode都木有问题,就namenode出现了问题,联想到上次通过web页面看到根目录下面出现了一个名字为空的文件夹,很怀疑是由这个空文件夹引起的。
从网上也没有找到有用的资料,没有办法了,通过sencondnamenode回滚了数据。启动后正常。但是丢失了最近的一些数据。还好那些数据不是很重要。
具体的错误原应还没有找到,很怀疑和那个空名字的文件夹有关系。待进一步测试。
转载于:https://blog.51cto.com/liran728729/1156245