Hadoop 学习之 MapredReduce 编程小试

1、打开myeclipse 新建一个java 项目，直接把example 中的WordCount.java COPY过来。
2、修改编码 UTF-8,编译器 1.6
3、buildpath 把源码根目录下的jar,以及lib下的jar导入到项目中。
4、src一般放置配置代码（xml）。真正的项目代码会新建SourceFolder
5、把core-site.xml 放到src目录下。：注意修改 h1改为地址或修改本地的hosts文件
6、有可能会遇到权限不足，是因为hdfs的权限问题，默认为755 需要改为757
7、报如下错误，看日志，可以知道是 FileUtil.checkReturnValue的这个方法报的错。要想办法把这个重新编译替换。
    重新编译方法：在源码中clean 一下。然后在WebRoot\WEB-INF\classes\org\apache\hadoop\fs 中找到FileUtil.class 及 FileUtil$CygPathCommand.class
    把这两个文件替换到hadoop-core-1.1.2.jar 中，然后重新引用这个包（ 删除 再 引入 ）。
15/04/22 21:07:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/04/22 21:07:56 ERROR security.UserGroupInformation: PriviledgedActionException as:xgj cause:java.io.IOException: Failed to set permissions of path: \home\hadoop\hadoop-1.1.2\temp\mapred\staging\xgj-1952505389\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \home\hadoop\hadoop-1.1.2\temp\mapred\staging\xgj-1952505389\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:918)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:912)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:912)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
at WordCount.main(WordCount.java:69)

8、如果再运行时又报找不到类的一个错误，并且与所运行类有关系。解决方法为
   在main 函数中的conf加一个键值。
   conf.set("mapred.jar", "D:\\wc.jar");
   然后再导出一个jar包（本项目的一般的jar包），放到这个位置。再运行就可以了。
   

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/30066956/viewspace-1591926/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/30066956/viewspace-1591926/