HDFS权限问题：Permission denied

最新推荐文章于 2024-05-26 17:05:19 发布
最新推荐文章于 2024-05-26 17:05:19 发布
阅读量5.2k 收藏 4
点赞数
分类专栏： BigData
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39295044/article/details/89016296
版权
报错如下:

Permission denied: user=root, access=EXECUTE, inode= “/user/yarn”: yarn:supergroup:drxw–
org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkFsPermission(FSPermissionChecker.java:271)
org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:257)
原因分析：
这是用其他用户组的root用户或其他用户，运行任务调用了yarn或者Hadoop集群里的资源，所以需要用Hadoop里的用户运行

解决方案:
1、增加本地环境变量 e.g. HADOOP_USER_NAME=root (root是根据自己Hadoop情况而定)
2、修改hdfs配置 core-site.xml ，添加 dfs.permissions : false, 并修改目录权限可写入（假如是生产环境不大建议）

两种方法都可以解决

Lloyd-He
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
1、遇到问题 今天使用自己的电脑，使用外网操作阿里云服务器上的HDFS。 报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 ...
最后一次：HDFS的permission denied
寂寞的博客
04-23 1382
在使用Hadoop HDFS时，几乎初学者都会遇到下面的权限问题，有的人草草搜索解决了，却不知道为什么，下次换一种场景依然解决不了。只有了解其本质原因，才能举一反三。 异常信息： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=administrator, access=WRITE, inode="/user/hdfs/xxx":
HDFS客户端的权限错误：Permission denied(转载)
01-03 4627
HDFS客户端的权限错误：Permission denied 2013年07月18日Java评论 2 条阅读 5,751 views 次 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （
HADOOP permission denied解决方法（如果你ssh已经确认没问题了）
最新发布
KUKUKAKASSAN的博客
05-26 642
有另一种可能的报错，就是你的文件全都被锁住了。可以上slave机上看看，不光要看hadoop的目录，还要多点几层文件下去，看看是不是有小锁。并且我的ssh已经能让master登入slave了，这个本来就是没有问题的。网上各种方法都是让你去把ssh配置好，让权限chmod 755，但我怎么试都没有用。不需要重启，回master上。
Hadoop问题集
Dimples.
10-24 386
Question One:运行没有显示日志信息  解决方法：在hadoop的安装目录下的share目录下搜索log4j.properties(注意有两个log4j.properties，选择小的那个)，把它放入工程的src下，即可。    如图： Question Two: Exception in thread "main" org.apache.hadoop.sec...
Hadoop：hdfs文件permission denied问题解析
weixin_34194359的博客
11-01 2027
Cron jobs can be scheduled, but fail to write parquet file and seems due to user permission of “yarn”. : org.apache.hadoop.security.AccessControlException: Permission denied: user=yarn, access=WRIT...
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE, ino
weixin_42382758的博客
03-25 6476
前置操作：hive-site.xml 拷贝到 sparkconf/目录 ；启动了hadoop集群， 启动spark; sbin/start-thriftserver.sh ;bin/beeline -u jdbc:hive2://hadoop102:10000 -n root 就报错了： Connecting to jdbc:hive2://hadoop102:10000 Error: Could not open client transport with JDBC...
hdfs-compress:hdfs 文件 压缩
05-23
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ，数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩，至于MR中间结果压缩减少网络IO，只需要配置 mapred-site.xml 即可，网上资料很多。 工程只实现了lzo的压缩...
hdfs-test:样本Python HDFS
05-04
指示： 1. Install all requirements using: `pip install -r requirements.txt` 2. Create your own config file to edit: `cp config.example.py config.py` 3. Run `python hdfs.py`
HDFS_Simulator:用于ImpalaSim的HDFS模拟器
05-24
HDFS_Simulator是一款由浙江大学普适计算实验室（ZJU's Pervasive Computing Lab）专为ImpalaSim设计的分布式文件系统模拟器。这个工具的主要目的是为了在无需真实硬件资源的情况下，模拟Hadoop分布式文件系统（HDFS...
hdfs-gress:通用加载程序
07-07
拷贝本地文件到HDFS动机很多项目需要把本地文件拷贝到hdfs集群，本程序能自动扫描本地文件并上传到hdfs集群。特性拷贝成功后，可以选择保留或删除文件拷贝文件过程可以支持压缩例如：org.apache.hadoop.io.compress....
Permission denied: user=root, access=EXECUTE, inode="/tmp/hadoop-yarn":grid:supergroup:drwx------
xuguokun1986的博客
02-16 6511
错误信息： Permission denied: user=root, access=READ_EXECUTE, inode="/tmp":hadoop:supergroup:drwx------ 办法：hadoop fs -chown -R hive:hive  /tmp  其中hive是通过jdbc访问hive数据库连接中的用户名：Connection conn = DriverMa
Permission denied: user=hive, access=EXECUTE, inode=“/tmp“:root:supergroup:drwxrwx---
weixin_45417821的博客
01-11 1303
在执行Hadoop的创建目录、写数据等情况，可能会出现该异常，而在读文件的时候却不会报错，这主要是由于系统的用户名不同导致的，由于我们进行实际开发的时候都是用Windows操作系统，而编译后的JAVA程序是部署在Linux上的。而Windows的用户名一般都是自定义的或者是administrator，Linux的用户名是root，对于Hadoop的部署，也有可能是hadoop用户名。Hive同步Hudi时发生如下错误，用方法即可同步成功！hdfs-site.xml中的权限检查改为false即可。
Oozie Shell 任务 yarn 用户写入 HDFS permission denied 异常切换用户
tonglingtou1875的博客
09-14 700
问题场景 Oozie 启动 SHELL 节点，其中上传 HDFS 时出现权限异常，异常信息如下： Permission denied: user=yarn, access=WRITE oozie shell action 问题原因 Hadoop分布式文件系统文件和目录的权限模型与POSIX系统权限模型相似。 每一个文件和目录有一个所有者（owner）和一个组（group）；文件或目录对其所有者、同组的其余用户以及全部其余用户分别有不一样的权限。 对文件而言，当读取这个文件时须要有 r 权限，当写入或者追加
启动hdfs报错：hadoop100 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
05-10 3775
文章目录一、实验环境说明二、解决方法1.报错信息：2.解决方案：3.配置ssh免密登录: 一、实验环境说明 1.Hadoop3.1.3 2.CentOS7.5 3.伪分布式 二、解决方法 1.报错信息： 2.解决方案： hadoop100 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). 原因是：hadoop100这台机器没有配置ssh免密登录 3.配置ssh免密登录: 先进入到~/.ssh/路径 cd ~/
Permission denied: user=Administrator, access=WRITE
adminyou的专栏
08-21 4506
关键代码为： if (!isSecurityEnabled() && (user == null)) {String envUser = System.getenv(HADOOP_USER_NAME);if (envUser == null) {envUser = System.getProperty(HADOOP_USER_NAME);}user = envUser == null ? n
hadoop集群运行模式出现Permission denied: user=Administrator, access=EXECUTE, inode="/tmp"
fengge18306的博客
03-21 2762
问题、Permission denied Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Administrator, access=EXECUTE, inode="/tmp":hadoop:supergroup:drwxrwx--- Ca...
Hadoop报错Permission denied: user=dr.who, access....
weixin_46039745的博客
08-02 1900
该问题其实是一个权限问题，可能会导致运行 “ hadoop jar ”命令时报错；MapReduce工件，中间数据将保存在该目录下。MapReduce作业执行完成后，这些文件将自动清除。报错原因是因为运行 ” hadoop jar “ 文件时的默认hdfs文件夹是tmp，但是由于权限不够导致运行失败。Hadoop集群上tmp文件夹上方出现红色代码串。重启hadoop服务才可执行!
mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
06-13
这个错误表示你没有权限在HDFS的根目录下创建新目录。这是因为默认情况下，只有超级用户（如hdfs或supergroup）才有权限在根目录下进行写操作。 你可以尝试在你有权限的目录下创建新目录，或者使用sudo或su命令以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值