CDH环境HDFS权限问题

CDH环境下Hadoop平台最高权限用户是hdfs,属于supergroup组。默认HDFS会开启权限认证,所以操作时,
需要将root用户切换到hdfs用户,否则会报错。

1、创建用户(所有节点)
useradd test

2、创建用户组 (所有节点)
groupadd supergroup

3、将用户添加到用户组中(所有节点)
usermod -a -G supergroup test

4、同步用户组到hdfs文件系统用户组
su - hdfs -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"

 

HDFS的ACL(Access Control List)权限

当一个普通用户去访问HDFS文件时,可能会报Permission denied的错误。

像修改linux文件似的,可能的做法有:
修改文件所有者
直接将文件赋予全部的权限,即rwx权限。
上面的做法虽然可以达到目的,但是相对来说对权限的把握不是很精准,不适用于生产环境。

本文主要讲解HDFS的ACL(Access Control List)权限,通过hdfs超级用户,来为普通用户分配权限。

一、背景

如下图所示,我使用hue用户想创建一个简单的hive表。由于hue用户对/warehouse/tablespace/managed/hive目录没有权限,所以创建失败了。


这里就用到了HDFS的ACL权限设置。

二、前提条件

需要确定hdfs-site.xml文件的两个配置项为true:

<property>
    <name>dfs.permissions.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.namenode.acls.enabled</name>
    <value>true</value>
</property>


三、语法

1. setfacl

Usage: hdfs dfs -setfacl -R|[--set <acl_spec> <path>]
设置文件和目录的访问控制列表(ACL)。

选项:

-b: 删除基本ACL条目以外的所有条目。保留用户,组和其他条目以与权限位兼容。
-k: 删除默认ACL。default
-R: 以递归方式将操作应用于所有文件和目录。常用。
-m: 修改ACL。新条目将添加到ACL,并保留现有条目。常用。
-x: 删除指定的ACL条目。保留其他ACL条目。常用。
--set: 完全替换ACL,丢弃所有现有条目。 acl_spec必须包含用户,组和其他条目,以便与权限位兼容。
acl_spec: 逗号分隔的ACL条目列表。
path: 要修改的文件或目录。
示例:

hdfs dfs -setfacl -m user:hadoop:rw- /file
hdfs dfs -setfacl -x user:hadoop /file
hdfs dfs -setfacl -b /file
hdfs dfs -setfacl -k /dir
hdfs dfs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
hdfs dfs -setfacl -R -m user:hadoop:r-x /dir
hdfs dfs -setfacl -m default:user:hadoop:r-x /dir


2. getfacl

Usage: hdfs dfs -getfacl [-R] <path>
显示文件和目录的访问控制列表(ACL)。如果目录具有默认ACL,则getfacl还会显示默认ACL。

选项:

-R: 以递归方式列出所有文件和目录的ACL。
path: 要列出的文件或目录。
示例:

hdfs dfs -getfacl /file
hdfs dfs -getfacl -R /dir
四、为hue用户赋予权限

使用hdfs超级用户来设置acl:使用-m参数

sudo -u hdfs hdfs dfs -setfacl -m user:hue:rwx /warehouse/tablespace/managed/hive
查看文件目录的acl权限:

hdfs dfs -getfacl /warehouse/tablespace/managed/hive
文件acl权限如下图所示:


现在hue用户就对/warehouse/tablespace/managed/hive这个目录有了rwx全部权限了。

我们使用hue用户创建hive表试试,成功了,如下图所示:


备注:

不过是仅限于hive这个目录,对于里面的子文件不是hue用户创建的,hue用户还是无权访问。
如果需要访问递归的子文件,可以使用-R参数,再次授权。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值