【Hadoop】hdfs使用setfacl 对hive的库赋权不生效问题

kiraraLou

已于 2022-01-26 14:26:44 修改

阅读量3.7k

点赞数 1

分类专栏： Hadoop 文章标签： hdfs hadoop hive

于 2021-12-15 14:54:12 首次发布

本文链接：https://blog.csdn.net/Mrerlou/article/details/121946775

版权

Hadoop 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

文章目录

一、前言

使用sentry赋予普通用户的权限是能正常工作，但是HDFS文件的ACL权限未同步导致不能对相应表的数据目录进行操作。并且使用HDFS 的setfacl 命令也无法生效。

意味着使用beeline 连接hive 可以正常使用，但是直接使用HDFS的命令确会报权限不足的错误。

二、问题复现

1、测试hive的权限

beeline 连接 hiveserver2后，查看risk_admin_role 角色权限

show grant role risk_admin_role;

可以看到有全部数据库的权限

+-----------+--------+------------+---------+------------------+-----------------+------------+---------------+-------------------+----------+--+
| database  | table  | partition  | column  |  principal_name  | principal_type  | privilege  | grant_option  |    grant_time     | grantor  |
+-----------+--------+------------+---------+------------------+-----------------+------------+---------------+-------------------+----------+--+
| *         |        |            |         | risk_admin_role  | ROLE            | *          | false         | 1638965696096000  | --       |
+-----------+--------+------------+---------+------------------+-----------------+------------+---------------+-------------------+----------+--+

并且create,inesrt,drop 等操作执行下来都没有问题。

2、测试HDFS权限

测试命令

hdfs dfs -ls /user/hive/warehouse/test.db

报错信息

ls: Permission denied: user=risk_other, access=READ_EXECUTE, inode="/user/hive/warehouse/test.db":hive:hive:drwxrwx--x

3、查看HDFS文件的ACL

查看权限

hdfs dfs -getfacl /user/hive/warehouse/test.db

可以看到我们risk_other 这个角色是并没有这个文件的访问权限的，但是我们可以通过hive来操作这个库。
在这里插入图片描述

4、手动添加ACL

因为我要从HDFS的文件中直接下载数据，所以当时想通过setfacl命令来快速给用户赋予读写可执行的权限。

hdfs dfs -setfacl -m user:risk_other:rwx /user/hive/warehouse/test.db

本来想着这个命令就已经可以解决问题了，但是测试命令

hdfs dfs -ls /user/hive/warehouse/test.db

依旧报错：

ls: Permission denied: user=risk_other, access=READ_EXECUTE, inode="/user/hive/warehouse/test.db":hive:hive:drwxrwx--x

再次查看acl

 hdfs dfs -getfacl /user/hive/warehouse/test.db
# file: /user/hive/warehouse/test.db
# owner: hive
# group: hive
user::rwx
group::---
user:hive:rwx
group:hive:rwx
group:op_test:rwx
mask::rwx
other::--x

依旧没有，也就是setfacl并没有生效。

解决方案

如果需要对非hive用户赋予server1的权限，则需要将server1下所有库的权限一一赋给需要赋予的用户组，这样才能确保HDFS文件的ACL权限也是同步的。如果是最大权限的用户则可以为该用户添加hive组。

对需要操作的库添加权限！

GRANT ALL ON database india_vision TO ROLE risk_other_role;

grant all on uri 'hdfs:///user/hive/warehouse/test.db' to role <role_name>;

查看权限

show grant role risk_other_role;

+---------------+--------+------------+---------+------------------+-----------------+------------+---------------+-------------------+----------+--+
|   database    | table  | partition  | column  |  principal_name  | principal_type  | privilege  | grant_option  |    grant_time     | grantor  |
+---------------+--------+------------+---------+------------------+-----------------+------------+---------------+-------------------+----------+--+
| *             |        |            |         | risk_other_role  | ROLE            | *          | false         | 1638965696096000  | --       |
| india_vision  |        |            |         | risk_other_role  | ROLE            | *          | false         | 1639479619687000  | --       |
+---------------+--------+------------+---------+------------------+-----------------+------------+---------------+-------------------+----------+--+