HDFS 文件权限

原创 2016年06月01日 12:45:37

HDFS文件权限

HDFS实现的文件权限模型与Linux文件权限非常类似 ,也有superuser , 但是hdfs中superuser是不是root呢 , 这个有点区别, 在hdfs中superuser是启动namenode的用户 , 例如,如果你用root用户安装的并且启动hdfs,那么superuser就是root, 如果用hadoop用户安装并且启动的hdfs那么superuser就是haddop ;

当我们用过命令 ,或者通过HDFS Client API访问Hdfs的时候 ,提示权限不足 ,我们可以考虑是不是你当前用户对你访问的路径权限不够 ,以及你当前superuser到底是什么用户, 然后使用superuser对你操作的路劲进行分配权限 。

我写了一个简单的程序使用java client api, 在hdfs中创建一个目录 ,然后抛出一下异常 ,

org.apache.hadoop.security.AccessControlException: Permission denied: user=hadoop, access=WRITE, inode="/":root:supergroup:drwxr-xr-x

经过分析,我的hdfs安装的时候 ,我是用root用户进行安装, 启动的, 那么根路径只有root用户才有权限操作 ,而我java程序默认使用hadoop用户进行去访问 ,自然是不会有权限
解决也比较简单 , 我可以使用root用户在服务器上,创建一个/test目录 ,然后把该目录的owner赋值给hadoop , 可以通过一下命令完成。

# cd /opt/hadoop-2.6.4/
# bin/hadoop fs -mkdir /test
# bin/hadoop -chown -R hadoop:hadoop /test

另一种解决办法,就是安装启动使用hadoop这个用户 , 那么superuser就是hadoop

相关文章推荐

Hadoop之旅(2)—伪集群 HDFS 文件读取与上传案例、权限与安全模式

1、准备工作 环境:centsOS7.0、jdk1.8、maven3.3.9 工具:idea(eclipse)、HADOOP  SHELL 、 发行版 :Hadoop2.5.0 Hadoop之旅(2)...

Hadoop-2.4.1学习之HDFS文件权限和ACL

之前在论坛看到一个关于HDFS权限的问题,当时无法回答该问题。无法回答并不意味着对HDFS权限一无所知,而是不能准确完整的阐述HDFS权限,因此决定系统地学习HDFS文件权限。HDFS的文件和目录权限...

Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法

1. 问题描述:          Eclipse中开发Java Web程序,使用Hadoop-Core JAR包中的Java API,上传文件到Hadoop HDFS文件系统中,上传提...
  • bikun
  • bikun
  • 2014年05月10日 21:03
  • 3248

HDFS权限管理

HDFS权限管理用户指南官网网址,

hadoop常见问题——通过集群外服务器控制HDFS出现的permission denied权限问题

问题现象 通过Hadoop集群外的电脑操作HDFS时,提示permission denied。 原因分析 老版本hadoop可以通过设置hadoop.job.ugi属性来获取对hdfs的操作权限...
  • shiyiH
  • shiyiH
  • 2013年06月19日 16:52
  • 596

eclipes远程连接hadoop 权限错误 Permission denied: user=root, access=WRITE, inode="/":hdfs:super

eclipse连接hadoop后运行报错,显示用户权限不够。 17/03/30 21:14:29 WARN mapred.LocalJobRunner: job_local1761927032_000...

HDFS ACL 权限管理

What is ACLHadoop中的ACL与Linux中的ACL机制基本相同,都是用于为文件系统提供更精细化的权限控制。...

Hadoop_Hdfs ACL 权限控制详解

开启ACL权限控制 Hadoop HDFS 默认没有使用 ACL 权限控制机制。这里介绍下如何开启 hdfs 的权限控制机制。 第一次使用需要修改hdfs-site.xml 把以下配置加进hdfs-s...

建立 HDFS 各类目录权限 及shell 脚本代码

Athor: F # 1、创建默认组及权限: #!/bin/bash # ## 初始化默认权限 sudo -u hdfs hdfs dfs -chown -R root:root /hi...
  • BDCHome
  • BDCHome
  • 2016年10月19日 23:12
  • 358

windows 连接Ubuntu 中HDFS的权限错误:Permission denied

windows 连接Ubuntu 中HDFS的权限错误:Permission deniedimport java.io.IOException;import org.apache.hadoop.con...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HDFS 文件权限
举报原因:
原因补充:

(最多只允许输入30个字)