hadoop之MapReduce编程的权限问题

最新推荐文章于 2022-08-28 18:35:51 发布

戴桥冰

最新推荐文章于 2022-08-28 18:35:51 发布

阅读量741

点赞数 1

分类专栏： hadoop1.x.x 问题解决文章标签： hadoop 编程

本文链接：https://blog.csdn.net/qq_21178933/article/details/48932401

版权

在执行Hadoop MapReduce任务时遇到了权限警告和错误，具体表现为无法设置 staging 目录的权限。错误信息涉及到NativeCodeLoader、UserGroupInformation和JobSubmissionFiles等。解决方法包括对FileUtil.java源码进行修改，注释掉特定代码，以及重新打包hadoop-core库以替换原有jar包。

摘要由CSDN通过智能技术生成

问题描述：

15/10/06 16:46:53 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/10/06 16:46:53 ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \opt\data\hadoop\tmp\mapred\staging\Administrator1031870944\.staging to 0700
Exception in thread "main" java.io.IOException: Failed to set permissions of path: \opt\data\hadoop\tmp\mapred\staging\Administrator1031870944\.staging to 0700
   at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:691)
   at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:664)
   at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:514)
   at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:349)
   at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileS