运行hadoop MapReduce程序常见错误及解决方法整理

一、Permission denied

1、Win系统下用Eclipse中运行远程Hadoop MapReduce程序出现报错

[javascript]  view plain  copy

1. org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="xxx":xxx:supergroup:rwxr-xr-x  
2. at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)  

因为Eclipse使用hadoop插件提交作业时，会默认用windows系统的用户去将作业写入hdfs文件系统中，  由于此用户对hadoop目录并没有写入权限，所以导致异常的发生。

解决方法为：

方法一：放开 hadoop 目录的权限 ， 命令如下 ：$ hadoop fs -chmod -R 777  /

当然，也可以只针对某个目录操作：

如对命令不熟悉，可以直接用如下命令查看：

方法二：直接在hdfs的配置文件中，将dfs.permissions修改为False

二、空指针错误：

在我的上篇hadoop2.2.0安装教程中有人遇到空指针错误：“Exception in thread "main" Java.lang.NullPointerException”

该错误的修正，需做如下操作：

1、下载hadoop.dll、winutils.exe文件放到eclipse所连接的hadoop的bin目录下（win系统里边）；

2、win系统里边的C盘下的system32目录放一份；

3、环境变量的PATH里边加一下1中的bin目录。

三、有人日志打不出来，报警告信息：

[html]  view plain  copy

1. log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).  
2. log4j:WARN Please initialize the log4j system properly.  
3. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.  

这个需要在项目的src下面新建file名为log4j.properties的文件

内容为：

[html]  view plain  copy

1. # Configure logging for testing: optionally with log file  
2.   
3. #log4j.rootLogger=debug,appender  
4. log4j.rootLogger=info,appender  
5. #log4j.rootLogger=error,appender  
6.   
7. #\u8F93\u51FA\u5230\u63A7\u5236\u53F0  
8. log4j.appender.appender=org.apache.log4j.ConsoleAppender  
9. #\u6837\u5F0F\u4E3ATTCCLayout  
10. log4j.appender.appender.layout=org.apache.log4j.TTCCLayout  

如图所示：

四、自己在eclipse打的jar包放到linux中运行时报错：

Exception in thread "main" java.lang.ClassNotFoundException:后边跟着自定义参数（如目录等）

解决方法：

1、可以重新在eclipse中打包，打包时记得选择main class。

2、另外，可以在打包时选择“Runnable JAR file”，打成java运行jar包。（该种方法会把程序中相关的包都打进去，会比较大，不过可以保证能运行）