Hadoop 一些错误解决

1. Input path does not exist：file:/路径名

     这个问题肯定是core-site.xl 配置文件中fs.defaultFS配置项配置不正确。如果是本机运行hadoop，那么需要修改配置文件中此配置项为hdfs://IP:Port；如果是eclipse提交到服务器运行，需要将自己的配置文件add bulidpath，即配置文件右键---Libraries---Add Class Folder。

   问题原因  

eclipse安装完hadoop插件后进行的配置如下。

     第一步：选择 Window 菜单下的 Preference。打开Preference，此时会弹出一个窗体，窗体的左侧会多出 Hadoop Map/Reduce 选项，点击此选项，选择 Hadoop 的安装目录（如/usr/local/hadoop，Ubuntu不好选择目录，直接输入就行）。

     第二步：切换 Map/Reduce 开发视图，选择 Window 菜单下选择 Open Perspective -> Other，弹出一个窗体，从中选择 Map/Reduce 选项即可进行切换。

     第三步：建立与 Hadoop 集群的连接。点击 Eclipse软件右下角的 Map/Reduce Locations 面板，在面板中单击右键，选择 New Hadoop Location。在弹出来的 General 选项面板中，General 的设置要与 Hadoop 的配置一致。一般两个 Host 值是一样的，如果是伪分布式，填写 localhost 即可，另外我使用的Hadoop伪分布式配置，设置 fs.defaultFS 为 hdfs://localhost:9000，则 DFS Master 的 Port 要改为 9000。Map/Reduce(V2) Master 的 Port 用默认的即可，Location Name 随意填写。Advanced parameters 选项面板是对 Hadoop 参数进行配置，实际上就是填写 Hadoop 的配置项(/usr/local/hadoop/etc/hadoop中的配置文件)，如我配置了 hadoop.tmp.dir ，就要进行相应的修改。但修改起来会比较繁琐，我们可以通过复制配置文件的方式解决（下面会说到）。总之，我们只要配置 General 就行了，点击 finish，Map/Reduce Location 就创建好了。

     在使用 Eclipse 运行 MapReduce 程序时，会读取 Hadoop-Eclipse-Plugin 的 Advanced parameters 作为 Hadoop 运行参数，如果我们未进行修改，则默认的参数其实就是单机（非分布式）参数，因此程序运行时是读取本地目录而不是 HDFS 目录，就会提示 Input 路径不存在。所以我们要么修改插件参数，要么将配置文件复制到项目中的 src 目录来覆盖参数，才能让程序能够正确运行。

Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: 
Input path does not exist: file:/home/hadoop/workspace/WordCountProject/input

 

2.java.io.IOException: There appears to be a gap in the edit log.  We expected txid 1, but got txid 11

     启动namenode失败，报错如上。 

     原因：namenode元数据被破坏，需要修复
     解决：恢复一下namenode
          hadoop namenode -recover
     一路选择y和c，一般就OK了

      此命令相当于重新format，因此也需要删除hadoop.tmp.dir文件夹