Hadoop在Windows上进行写入操作时 user=Administrator, access=WRITE 异常

最新推荐文章于 2021-05-26 06:13:47 发布
最新推荐文章于 2021-05-26 06:13:47 发布
阅读量271 收藏
点赞数
文章标签： hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/garrygaygay/article/details/104316693
版权
在Windows上操作HDFS时遇到'access=WRITE'权限异常，问题源于非root用户导致的写入限制。解决方案包括：1. 设置环境变量HADOOP_USER_NAME为文件所有者（如root）。2. 修改hdfs-site.xml配置，关闭权限检查，但此方法仅适用于测试环境。
摘要由CSDN通过智能技术生成

之前没有养成记录问题的习惯，以至于每次换了环境操作HDFS都会遇到这个熟悉的权限问题…
So ------ 终于决定用写一篇blog来给自己达成一劳永逸的效果（不是）

首先要解决问题就要对问题知根知底，来看看这个报错：
user=Administrator, access=WRITE …
其中：user=Administrator 指的是当前进行操作的用户
其他先不管 其实是不会

这个user是不是看着有点眼熟？
在这里插入图片描述
似李！本地计算机用户！

然后让我们来ls看看HDFS的目录
在这里插入图片描述
其中这个root表示文件所有者，也就是我们最后要用到的值
顺便将前面的drwxr-xr-x分析一波：

  1. d：表示文件类型，d是目录文件
  2. rwx：r 可读，w 可写，x 可执行 —— 这个是指文件所有者的操作权限，这里的文件所有者为 root
  3. r-x：可读可执行不可写 —— 用户组的操作权限，这里的用户组为 supergroup
  4. r-x：可读可执行不可写 —— 其他用户的操作权限

最低0.47元/天 解锁文章
咖喱给给很咸鱼
关注
解决Permission denied: user=root, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x问题
qq_43541746的博客
04-03 1万+
DFS locations创建目录失败，错误描述： Permission denied: user=root, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 其实就是你的用户,对所操作的文件没有写的权限,创建目录需要拥有写权限，在测试的时候可以将所有文件的所有权限都开放,这样就不会出现这种错误了。 先在xshell上实验看是否无法创建目录，如下图则为无法创建。 解决方法：（本人方法一无效，方法二有效） 1） 修改hdfs-site.xml，追加df
to run svn service
乐于改变
09-29 835
1,http://www.sliksvn.com/en/download2,svnadmin create D:/svnhome3,vim d:/svnhome/svnserve.conf### This file controls the configuration of the svnserve daemon, if you ### use it to allow access to this repository.  (If you only allow ### access through ht
【大数据】HDFS操作过程使用命令移除某个文件路径出错，提示“Permission Denied user =root， access = write”
mukvintt的博客
07-01 2143
自己在运行和操作kylin的过程当中，需要删除某个文件夹，结果提示报错如下： [root@sandbox Kyligence-Enterprise-3.3.0-Beta-hdp]# hdfs dfs -rm -r /kylin 19/07/01 05:59:59 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion...
Permission denied:user=xxx,access=WRITE,inode=xxx
我是一名程序猿
06-06 8374
Eclipse操作HDFS遇到的权限问题背景：我要测试HDFS的可用性，于是我在eclipse中添加文件进行测试，出现如下图片问题问题出现的原因：Linux系统和windows系统的差异性解决思路：配置window下的HDFS的环境变量。具体步骤：1.解压一个hadoop包，把这个文件配置进入环境变量2.进入环境变量配置，添加下图画圈处的两个变量：3.把hadoop配置进Path环境变量里面4.关...
在Windows上安装Hadoop1
08-08
本文将详细介绍如何在Windows 10操作系统上安装配置Hadoop1环境。Hadoop是一个能够处理大量数据的大规模分布式计算框架，它由Apache基金会开发并维护。在Windows环境下安装Hadoop可能会遇到一些特有的挑战，比如...
hadoop在windows上运行需要winutils支持和hadoop.dll等文件
03-25
在Windows上运行Hadoop时，你需要下载与Hadoop版本相匹配的WinUtils，并将其添加到系统的PATH环境变量中，以便Hadoop可以找到并使用这些必要的系统工具。 接下来是"Hadoop.dll"文件，这是Hadoop在Windows环境中运行...
hadoop在windows运行依赖库
08-07
hadoop在windows运行依赖库
在Windows上安装Hadoop HDFS和MapReduce框架1
08-08
### 在Windows上安装Hadoop HDFS和MapReduce框架 #### 一、安装步骤详解 **1. 下载Hadoop** - 访问官方网站 [http://archive.apache.org/dist/hadoop/core/](http://archive.apache.org/dist/hadoop/core/)，下载...
Permission denied: user=administrator, access=WRITE 问题解决
zhangjunli的博客
05-24 6342
Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看） 问题描述 上传文件的代码： package com.cys.mapreduce; import java.io.IOException; import java.util.StringTokenizer;
HDFS上传文件错误：Permission denied: user=root, access=WRITE, inode="/user"
热门推荐
g11d111的博客
06-07 2万+
问题描述 今天用spark-streaming测试HDFS（文件系统）监听情况的时候，因为CDH集群重新配置的原因，权限没有设置好。导致写文件出bug。 错误情况（错误代码那块没保存，下面的代码从网上找的，不过错误的地方是相同的。）：11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_0003 11/10
Permission denied: user=Administrator, access=WRITE
adminyou的专栏
08-21 4524
关键代码为： if (!isSecurityEnabled() && (user == null)) {String envUser = System.getenv(HADOOP_USER_NAME);if (envUser == null) {envUser = System.getProperty(HADOOP_USER_NAME);}user = envUser == null ? n
MapReduce发生Permission denied: user=zhen, access=WRITE错误
11-16 268
一.错误介绍. 在进行mapreduce编程时，利用MapReduce程序处理上传至hdfs文件系统下的数据文档时，由于传入的数据文档的权限为644，无 法满足supergroup的755权限要求，所以会出现错误。如下...
部署CM报错（4）：hdfs上创建文件，报错mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:d
小蚯蚓的博客
12-29 4097
1.问题描述 在hdfs上创建目录报错： mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 2.问题原因 hdfs上权限限制，root是没有权限的。除非取消hdfs的权限检查。 3.解决办法 取消hdfs检查权限 （1）点击hdfs （2）点击conf...
Permission denied: user=root, access=WRITE,inode=
老农民挖数据
08-04 1万+
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x at org.apache
hive 脚本运行无法修改数据库Permission denied:inode=“/user/hive/warehouse“:root:supergroup:drwxr-xr-x
weixin_42404102的博客
07-31 1403
1）异常情况描述 Permission denied: user=anonymous, access=WRITE, inode="/user/hive/warehouse":root:supergroup:drwxr-xr-x Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(m.
HDFS客户端的权限错误：Permission denied(转载)
01-03 4658
HDFS客户端的权限错误：Permission denied 2013年07月18日Java评论 2 条阅读 5,751 views 次 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （
Hadoop文件写入权限不足
cts618
05-26 1582
在windows的idea中访问执行时，会向linux下的hadoop提交文件，可能会发生权限问题，原因是执行时，idea会将当前windows登陆用户做为hadoop用户来提交文件。因此会导致权限不足的问题 解决办法 ：在执行程序的Edit Configurations中 做如下设置，把VM options或Environment variables中加入 -DHADOOP_USER_NAME=xxxxxx （你的hadoop用户） ...
mkdir: Permission denied: user=root, access=WRITE, inode="/user":moke:supergroup:drwxr-xr-x
最新发布
09-27
当看到 `mkdir: Permission denied: user=root, access=WRITE, inode="/user":moke:supergroup:drwxr-xr-x` 这样的错误时，说明当前用户 `root` 被拒绝在 `/user` 目录下创建新的子目录。信息显示： - `Permission denied`: 意味着请求的操作（在这里是创建目录）由于权限不足而被拒绝。 - `user=root`: 操作者是 root 用户。 - `access=WRITE`: 表明试图对具有写权限的资源进行写操作，这里是创建目录。 - `inode="/user":moke:supergroup:drwxr-xr-x`: `/user` 目录的权限属性，其中 `moke:supergroup` 分别是所有者和组，`drwxr-xr-x` 是权限模式，表示所有者有读、写和执行权限，组和其他用户只有读和执行权限。 解决这个问题，你需要更改目录的权限，使其允许当前用户（如 `root` 或切换到有权访问的用户）进行写操作，或者使用 `sudo` （如果需要管理员权限）来创建目录。例如： ```bash chmod -R u+wx /user ``` 这会增加 `/user` 目录及其所有子目录对 `root` 用户的写权限。或者，如果是为特定用户创建目录： ```bash hadoop fs -mkdir -p /user/<username>/input ``` 这里将 `<username>` 替换为你实际想创建目录的用户名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值