1 问题描述
在开启了Sentry的CDH集群中,Hive或Impala的操作会受Sentry的管理,不同的操作需要不同的权限。例如,要在Hive中执行ALTER DATABASE命令,用户需要拥有SERVER或DATABASE的ALL权限。本文是描述关于LOAD DATA的异常,我们先来看看Cloudera官网对于这一块的描述:
具体请参考:
https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_sg_sentry_service.html#sentry_service
可以看出如果需要LOAD DATA操作,则需要具有ALL或者INSERT权限。本文Fayson描述虽然对于Database赋予了ALL权限,但依旧会报错没有load data 权限异常。
- 测试环境
1.CM和CDH版本为5.15.1
2.操作系统版本为RedHat7.2
3.集群已启用Kerberos
4.已启用Sentry
以下具体描述该问题,使用以下命令load data到Hive表中,提示user test_sjz does not have privileges for LOAD
use test_sjz;
#加载HDFS中数据到hive表
load data inpath ‘/user/test_sjz/super_store.csv’ into table super_store;
#加载本地数据到hive表
load data local inpath ‘/user/test_sjz/super_store.csv’ into table super_store;
查看test_sjz 用户组的权限,发现是具有test_sjz 库的all 权限的,即表示test_sjz 能使用load data 命令
show grant role test_sjz;
看到提示另一个异常,提示:this required privileges:Server=server1 ….
,于是尝试给HDFS非/user/ 目录和文件授权后尝试
发现依旧不能load data。
2 问题解决
原因在于Sentry将检查 LOAD DATA 语句源文件和目标表。需要目标表上的INSERT和源文件上的URI权限.
即需要将Sentry中的URI权限授予用户主目录(/ user / )的活动用户。如果用户需要从HDFS中加载数据的其他目录的数据,则还必须授予用户在Sentry中的URI权限。授权语法如下:
GRANT ALL ON URI “hdfs://namenode:8020/user/<name> /” TO ROLE <role>;
注:如果你启用的NameNode的HA,建议使用Nademode 的Nameservice 来代替主机名和端口号,这可确保即使NameNode更改,URI也将保持不变。如下图红线圈出的部分所示:
登录hive用户,给/user/test_sjz 目录授权后尝试
GRANT ALL ON URI “hdfs://namenode:8020/user/<name> /” TO ROLE <role>;
然后load data 成功
use test_sjz;
#加载HDFS中数据到hive表
load data impath ‘/user/test_sjz/super_store.csv’ into table super_store;
#加载本地数据到hive表
load data local impath ‘/user/test_sjz/super_store.csv’ into table super_store;
参考文档:
Sentry 的授权模型详细列表:
https://www.cloudera.com/documentation/enterprise/5/latest/topics/cm_sg_sentry_service.html#sentry_service
Load问题参考文档:https://my.cloudera.com/knowledge/Loading-Data-from-Files-into-Tables–HiveServer2-and-Sentry?id=75660