hadoop常见错误总结

新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。
一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下

Incompatible namespaceIDS in ... :namenode namespaceID = ... ,datanode namespaceID=...

错误，原因是格式化namenode后会重新创建一个新的namespaceID,以至于和datanode上原有的不一致。
解决方法：

• 删除datanode dfs.data.dir目录（默认为tmp/dfs/data）下的数据文件
• 修改dfs.data.dir/current/VERSION 文件，把namespaceID修成与namenode上相同即可（log错误里会有提示）
• 重新指定新的dfs.data.dir目录
• 
  

二、hadoop集群启动start-all.sh的时候，slave总是无法启动datanode，并会报错：

... could only be replicated to 0 nodes, instead of 1 ...

就是有节点的标识可能重复（个人认为这个错误的原因）。也可能有其他原因，一下解决方法请依次尝试，我是解决了。
解决方法：

• 删除所有节点dfs.data.dir和dfs.tmp.dir目录（默认为tmp/dfs/data和tmp/dfs/tmp）下的数据文件；然后重新hadoop namenode -format 格式化节点；然后启动。
• 如果是端口访问的问题，你应该确保所用的端口都打开，比如hdfs://machine1:9000/、50030、50070之类的。执行#iptables -I INPUT -p tcp --dport 9000 -j ACCEPT 命令。如果还有报错：hdfs.DFSClient: Exception in createBlockOutputStream java.net.ConnectException: Connection refused；应该是datanode上的端口不能访问，到datanode上修改iptables：#iptables -I INPUT -s machine1 -p tcp -j ACCEPT
• 还有可能是防火墙的限制集群间的互相通信。尝试关闭防火墙。/etc/init.d/iptables stop
• 最后还有可能磁盘空间不够了，请查看 df -al
• 我在解决这个问题的时候还有人说：先后启动namenode、datanode可以解决这个问题（本人尝试发现没用，大家可以试试）$hadoop-daemon.sh start namenode ； $hadoop-daemon.sh start datanode
• 
  

三、程序执行出现Error: java.lang.NullPointerException
空指针异常，确保java程序的正确。变量什么的使用前先实例化声明，不要有数组越界之类的现象。检查程序。

四、执行自己的程序的时候，（各种）报错，请确保一下情况：

• 前提都是你的程序是正确通过编译的
• 集群模式下，请把要处理的数据写到HDFS里，并且确保HDFS路径正确
• 指定执行的jar包的入口类名（我不知道为什么有时候不指定也是可以运行的）
  

正确的写法类似：

$ hadoop jar myCount.jar myCount input output

五、ssh无法正常通信的问题，可以看看这个 云技术基础：集群搭建SSH的作用及这些命令的含义

六、程序编译问题，各种包没有的情况，请确保你把hadoop目录下 和hadoop/lib目录下的jar包都有引入。
（具体可看hadoop开发方式总结及操作指导）

七、Hadoop启动datanode时出现Unrecognized option: -jvm 和 Could not create the Java virtual machine.
在hadoop安装目录/bin/hadoop中有如下一段shell:
View Code SHELL