1、打开myeclipse 新建一个java 项目,直接把example 中的WordCount.java COPY过来。
2、修改编码 UTF-8,编译器 1.6
3、buildpath 把源码根目录下的jar,以及lib下的jar导入到项目中。
4、src一般放置配置代码(xml)。真正的项目代码会新建SourceFolder
5、把core-site.xml 放到src目录下。:注意修改 h1改为地址或修改本地的hosts文件
6、有可能会遇到权限不足,是因为hdfs的权限问题,默认为755 需要改为757
7、报如下错误,看日志,可以知道是 FileUtil.checkReturnValue的这个方法报的错。要想办法把这个重新编译替换。
重新编译方法:在源码中clean 一下。然后在WebRoot\WEB-INF\classes\org\apache\hadoop\fs 中找到FileUtil.class 及 FileUtil$CygPathCommand.class
把这两个文件替换到hadoop-core-1.1.2.jar 中,然后重新引用这个包( 删除 再 引入 )。
15/04/22 21:07:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/04/22 21:07:56 ERROR security.UserGroupInformation: PriviledgedActionException as:xgj cause:java.io.IOException: Failed to set permissions of path: \home\hadoop\hadoop-1.1.2\temp\mapred\staging\xgj-1952505389\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \home\hadoop\hadoop-1.1.2\temp\mapred\staging\xgj-1952505389\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:918)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:912)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:912)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
at WordCount.main(WordCount.java:69)
8、如果再运行时又报找不到类的一个错误,并且与所运行类有关系。解决方法为
在main 函数中的conf加一个键值。
conf.set("mapred.jar", "D:\\wc.jar");
然后再导出一个jar包(本项目的一般的jar包),放到这个位置。再运行就可以了。
2、修改编码 UTF-8,编译器 1.6
3、buildpath 把源码根目录下的jar,以及lib下的jar导入到项目中。
4、src一般放置配置代码(xml)。真正的项目代码会新建SourceFolder
5、把core-site.xml 放到src目录下。:注意修改 h1改为地址或修改本地的hosts文件
6、有可能会遇到权限不足,是因为hdfs的权限问题,默认为755 需要改为757
7、报如下错误,看日志,可以知道是 FileUtil.checkReturnValue的这个方法报的错。要想办法把这个重新编译替换。
重新编译方法:在源码中clean 一下。然后在WebRoot\WEB-INF\classes\org\apache\hadoop\fs 中找到FileUtil.class 及 FileUtil$CygPathCommand.class
把这两个文件替换到hadoop-core-1.1.2.jar 中,然后重新引用这个包( 删除 再 引入 )。
15/04/22 21:07:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/04/22 21:07:56 ERROR security.UserGroupInformation: PriviledgedActionException as:xgj cause:java.io.IOException: Failed to set permissions of path: \home\hadoop\hadoop-1.1.2\temp\mapred\staging\xgj-1952505389\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \home\hadoop\hadoop-1.1.2\temp\mapred\staging\xgj-1952505389\.staging to 0700
at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:689)
at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:662)
at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)
at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)
at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)
at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:918)
at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:912)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Unknown Source)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:912)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:500)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:530)
at WordCount.main(WordCount.java:69)
8、如果再运行时又报找不到类的一个错误,并且与所运行类有关系。解决方法为
在main 函数中的conf加一个键值。
conf.set("mapred.jar", "D:\\wc.jar");
然后再导出一个jar包(本项目的一般的jar包),放到这个位置。再运行就可以了。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30066956/viewspace-1591926/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/30066956/viewspace-1591926/