19.Hive外部表权限用Sentry管理

最新推荐文章于 2021-11-11 15:19:44 发布
最新推荐文章于 2021-11-11 15:19:44 发布
阅读量514 收藏 1
点赞数 1
分类专栏： Hadoop 文章标签： hive sentry hadoop 大数据 java
@大勇若怯任卷舒
本文链接：https://blog.csdn.net/m0_47454596/article/details/118381002
版权

19.1 环境介绍

  • 操作系统版本：RedHat6.5
  • CM版本：CM 5.11.1
  • 集群已启用Kerberos和Sentry
  • 采用具有sudo权限的ec2-user用户进行操作

19.2 实验准备

19.2.1外部表数据父目录创建

  • 使用hive用户登录Kerberos
[root@ip-172-31-8-141 1874-hive-HIVESERVER2]# kinit -kt hive.keytab hive/ip-172-31-8-141.ap-southeast-1.compute.internal@CLOUDERA.COM
[root@ip-172-31-8-141 1874-hive-HIVESERVER2]# klist
Ticket cache: FILE:/tmp/krb5cc_0
Default principal: hive/ip-172-31-8-141.ap-southeast-1.compute.internal@CLOUDERA.COM

Valid starting     Expires            Service principal
09/01/17 11:10:54  09/02/17 11:10:54  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 09/06/17 11:10:54
[root@ip-172-31-8-141 1874-hive-HIVESERVER2]#
  • 创建HDFS目录
    • 使用如下命令在HDFS的根目录下创建Hive外部表的数据目录/extwarehouse
[root@ip-172-31-8-141 ec2-user]# hadoop fs -mkdir /extwarehouse
[root@ip-172-31-8-141 ec2-user]# hadoop fs -ls /
drwxr-xr-x   - hive   supergroup          0 2017-09-01 11:27 /extwarehouse
drwxrwxrwx   - user_r supergroup          0 2017-08-23 03:23 /fayson
drwx------   - hbase  hbase               0 2017-09-01 02:59 /hbase
drwxrwxrwt   - hdfs   supergroup          0 2017-08-31 06:18 /tmp
drwxrwxrwx   - hdfs   supergroup          0 2017-08-30 03:48 /user
[root@ip-172-31-8-141 ec2-user]# hadoop fs -chown hive:hive /extwarehouse
[root@ip-172-31-8-141 ec2-user]# hadoop fs -chmod 771 /extwarehouse
[root@ip-172-31-8-141 ec2-user]# hadoop fs -ls /
drwxrwx--x   - hive   hive                0 2017-09-01 11:27 /extwarehouse
drwxrwxrwx   - user_r supergroup          0 2017-08-23 03:23 /fayson
drwx------   - hbase  hbase               0 2017-09-01 02:59 /hbase
drwxrwxrwt   - hdfs   supergroup          0 2017-08-31 06:18 /tmp
drwxrwxrwx   - hdfs   supergroup          0 2017-08-30 03:48 /user
[root@ip-172-31-8-141 ec2-user]#
  • 配置外部表数据父目录的ACL同步
    • 确保HDFS已开启sentry并启用ACL同步
    • 配置sentry同步路径，19.2.1创建的Hive外部表数据目录
    • 配置完成，重启服务。

19.3 Hive外部表创建

  • 使用beeline命令行连接hive，创建Hive外部表
    • 建表语句：
create external table if not exists student(
        name string,
        age int,
        addr string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LOCATION '/extwarehouse/student';
  • 终端操作：
[root@ip-172-31-8-141 1874-hive-HIVESERVER2]# beeline 
Beeline version 1.1.0-cdh5.11.1 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-8-141.ap-southeast-1.compute.internal@CLOUDERA.COM
...
0: jdbc:hive2://localhost:10000/> create external table if not exists student(
. . . . . . . . . . . . . . . . >         name string,
. . . . . . . . . . . . . . . . >         age int,
. . . . . . . . . . . . . . . . >         addr string
. . . . . . . . . . . . . . . . > )
. . . . . . . . . . . . . . . . > ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
. . . . . . . . . . . . . . . . > LOCATION '/extwarehouse/student';
...
INFO  : OK
No rows affected (0.236 seconds)
0: jdbc:hive2://localhost:10000/>
  • 向student表中load数据
    • 准备测试数据
[root@ip-172-31-8-141 student]# pwd
/home/ec2-user/student
[root@ip-172-31-8-141 student]# ll
total 4
-rw-r--r-- 1 root root 39 Sep  1 11:37 student.txt
[root@ip-172-31-8-141 student]# cat student.txt 
zhangsan,18,guangzhou
lisi,20,shenzhen
[root@ip-172-31-8-141 student]#
  • 将student.txt文件put到hdfs的/tmp/student目录
[root@ip-172-31-8-141 student]# hadoop fs -mkdir /tmp/student
[root@ip-172-31-8-141 student]# ll
total 4
-rw-r--r-- 1 hive hive 39 Sep  1 11:37 student.txt
[root@ip-172-31-8-141 student]# hadoop fs -put student.txt /tmp/student
[root@ip-172-31-8-141 student]# hadoop fs -ls /tmp/student
Found 1 items
-rw-r--r--   3 hive supergroup         39 2017-09-01 11:57 /tmp/stu
dent/student.txt
[root@ip-172-31-8-141 student]#
  • 在beeline命令行下，将数据load到student表
0: jdbc:hive2://localhost:10000/> load data inpath '/tmp/student' into table student;
...
INFO  : Table default.student stats: [numFiles=1, totalSize=39]
INFO  : Completed executing command(queryId=hive_20170901115858_5a76aa76-1b24-40ce-8254-42991856c05b); Time taken: 0.263 seconds
INFO  : OK
No rows affected (0.41 seconds)
0: jdbc:hive2://localhost:10000/>
  • 执行完load命令后，查看表数据
0: jdbc:hive2://localhost:10000/> select * from student;
...
INFO  : OK
+---------------+--------------+---------------+--+
| student.name  | student.age  | student.addr  |
+---------------+--------------+---------------+--+
| zhangsan      | 18           | guangzhou     |
| lisi          | 20           | shenzhen      |
+---------------+--------------+---------------+--+
2 rows selected (0.288 seconds)
0: jdbc:hive2://localhost:10000/>

19.4 给fayson用户student表读权限

  • 使用fayson用户的principal初始化Kerberors的票据
[ec2-user@ip-172-31-8-141 cdh-shell-master]$ kinit fayson
Password for fayson@CLOUDERA.COM: 
[ec2-user@ip-172-31-8-141 cdh-shell-master]$ klist
Ticket cache: FILE:/tmp/krb5cc_500
Default principal: fayson@CLOUDERA.COM

Valid starting     Expires            Service principal
09/01/17 12:27:39  09/02/17 12:27:39  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 09/08/17 12:27:39
[ec2-user@ip-172-31-8-141 cdh-shell-master]$
  • 访问hdfs目录
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /extwarehouse/student
ls: Permission denied: user=fayson, access=READ_EXECUTE, inode="/extwarehouse/student":hive:hive:drwxrwx--x
[ec2-user@ip-172-31-8-141 ~]$
  • beeline命令行查看
[ec2-user@ip-172-31-8-141 ~]$ beeline 
Beeline version 1.1.0-cdh5.11.1 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-8-141.ap-southeast-1.compute.internal@CLOUDERA.COM
...
INFO  : OK
+-----------+--+
| tab_name  |
+-----------+--+
+-----------+--+
No rows selected (0.295 seconds)
0: jdbc:hive2://localhost:10000/> select * from student;
Error: Error while compiling statement: FAILED: SemanticException No valid privileges
 User fayson does not have privileges for QUERY
 The required privileges: Server=server1->Db=default->Table=student->Column=addr->action=select; (state=42000,code=40000)
0: jdbc:hive2://localhost:10000/>
  • impala-shell命令行查看
[ec2-user@ip-172-31-8-141 cdh-shell-master]$ impala-shell 
...
[Not connected] > connect ip-172-31-10-156.ap-southeast-1.compute.internal:21000;
Connected to ip-172-31-10-156.ap-southeast-1.compute.internal:21000
Server version: impalad version 2.8.0-cdh5.11.1 RELEASE (build 3382c1c488dff12d5ca8d049d2b59babee605b4e)
[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > show tables;
Query: show tables
ERROR: AuthorizationException: User 'fayson@CLOUDERA.COM' does not have privileges to access: default.*

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > select * from student;
Query: select * from student
Query submitted at: 2017-09-01 12:33:06 (Coordinator: http://ip-172-31-10-156.ap-southeast-1.compute.internal:25000)
ERROR: AuthorizationException: User 'fayson@CLOUDERA.COM' does not have privileges to execute 'SELECT' on: default.student

[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] >
  • 通过hive用户创建的外部表，未给fayson用户赋予student表读权限情况下，无权限访问hdfs的(/extwarehouse/student)数据目录，在beeline和impala-shell命令行下，fayson用户均无权限查询student表数据。
  • 为fayson用户赋予student表读权限
    • 注：以下操作均在hive管理员用户下操作
  • 创建student_read角色
0: jdbc:hive2://localhost:10000/> create role student_read;
...
INFO  : Executing command(queryId=hive_20170901124848_927878ba-0217-4a32-a508-bf29fed67be8): create role student_read
...
INFO  : OK
No rows affected (0.104 seconds)
0: jdbc:hive2://localhost:10000/>
  • 将student表的查询权限授权给student_read角色
0: jdbc:hive2://localhost:10000/> grant select on table student to role student_read;
...
INFO  : Executing command(queryId=hive_20170901125252_8702d99d-d8eb-424e-929d-5df352828e2c): grant select on table student to role student_read
...
INFO  : OK
No rows affected (0.111 seconds)
0: jdbc:hive2://localhost:10000/>
  • 将student_read角色授权给fayson用户组
0: jdbc:hive2://localhost:10000/> grant role student_read to group fayson;
...
INFO  : Executing command(queryId=hive_20170901125454_5f27a87e-2f63-46d9-9cce-6f346a0c415c): grant role student_read to group fayson
...
INFO  : OK
No rows affected (0.122 seconds)
0: jdbc:hive2://localhost:10000/>
  • 再次测试，使用fayson用户登录Kerberos，访问HDFS目录
    • 访问student数据所在hdfs目录/extwarehouse/student
[ec2-user@ip-172-31-8-141 ~]$ hadoop fs -ls /extwarehouse/student
Found 1 items
-rwxrwx--x+  3 hive hive         39 2017-09-01 14:42 /extwarehouse/student/student.txt
[ec2-user@ip-172-31-8-141 ~]$
  • beeline查询student表
[ec2-user@ip-172-31-8-141 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_500
Default principal: fayson@CLOUDERA.COM

Valid starting     Expires            Service principal
09/01/17 12:58:59  09/02/17 12:58:59  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 09/08/17 12:58:59
[ec2-user@ip-172-31-8-141 ~]$ 
[ec2-user@ip-172-31-8-141 ~]$ beeline 
Beeline version 1.1.0-cdh5.11.1 by Apache Hive
beeline> !connect jdbc:hive2://localhost:10000/;principal=hive/ip-172-31-8-141.ap-southeast-1.compute.internal@CLOUDERA.COM
...
INFO  : OK
+-----------+--+
| tab_name  |
+-----------+--+
| student   |
+-----------+--+
1 row selected (0.294 seconds)
0: jdbc:hive2://localhost:10000/> select * from student;
...
INFO  : OK
+---------------+--------------+---------------+--+
| student.name  | student.age  | student.addr  |
+---------------+--------------+---------------+--+
| zhangsan      | 18           | guangzhou     |
| lisi          | 20           | shenzhen      |
+---------------+--------------+---------------+--+
2 rows selected (0.241 seconds)
0: jdbc:hive2://localhost:10000/>
  • impala-shell查询student表
[ec2-user@ip-172-31-8-141 cdh-shell-master]$ klist
Ticket cache: FILE:/tmp/krb5cc_500
Default principal: fayson@CLOUDERA.COM

Valid starting     Expires            Service principal
09/01/17 12:58:59  09/02/17 12:58:59  krbtgt/CLOUDERA.COM@CLOUDERA.COM
        renew until 09/08/17 12:58:59
[ec2-user@ip-172-31-8-141 cdh-shell-master]$ impala-shell 
...
[Not connected] > connect ip-172-31-10-156.ap-southeast-1.compute.internal:21000;
Connected to ip-172-31-10-156.ap-southeast-1.compute.internal:21000
Server version: impalad version 2.8.0-cdh5.11.1 RELEASE (build 3382c1c488dff12d5ca8d049d2b59babee605b4e)
[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > show tables;
Query: show tables
+---------+
| name    |
+---------+
| student |
+---------+
Fetched 1 row(s) in 0.02s
[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] > select * from student;
...
+----------+-----+-----------+
| name     | age | addr      |
+----------+-----+-----------+
| zhangsan | 18  | guangzhou |
| lisi     | 20  | shenzhen  |
+----------+-----+-----------+
Fetched 2 row(s) in 0.13s
[ip-172-31-10-156.ap-southeast-1.compute.internal:21000] >
  • 通过hive用户创建的外部表，给fayson用户赋予student表读权限后，可正常访问hdfs的(/extwarehouse/student)数据目录，在beeline和impala-shell命令行下，fayson用户均可查询student表数据。
    • 开启外部表的数据父目录ACL同步后，不需要单独的维护外部表数据目录权限。

大数据视频推荐：
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通

大勇任卷舒
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Sentry和Hue实现Hive权限控制（非认证情况）
weixin_33022765的博客
03-14 1000
基于Sentry和Hue实现Hive权限控制（非认证情况） 目录基于Sentry和Hue实现Hive权限控制（非认证情况）1 写在前面2 安装Sentry服务2.1 创建数据库2.2 添加Sentry服务3 Hive/Hue服务与Sentry集成3.1 Hive配置3.2 Hue配置4 配置Hive权限5 Sentry权限验证测试6 参考文档 1 写在前面 Sentry组件由Clodera公司提供的安全授权管理工具。我们可以使用该组件实现hive的分租户权限管理。 在此之前，需要明确：CDH平台中的安全，认
Hive管理表和外部表的区别
01-07
关于Hive数据仓库的管理表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别，在创表的时候，如果不指定，则默认创建管理表。如果不知道此表是什么类型的表的话，可以在hive的命令行里打desc formatted table_name...
0035-如何使用Sentry管理Hive外部表（补充）
Hadoop_SC的博客
11-22 318
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。 1.文档编写目的 本文文档主要讲述如何使用Sentry管理Hive/Impala外部表权限。 内容概述 1.创建测试库及外部表 2.创建角色并授权 3.授权测试 4.测试总结 测试环境 1.操作系统为CentOS6.5 2.CM和CDH版本为5.12.1 3.采用root用户操作 前置条件 1.集群运行正常 2.集群...
hive表之外部表
lepton126的专栏
04-23 772
hive之外部表1、指向已经在HDFS中存在的数据，在外部表中也可创建partition2、外部表和内部表在元数据的组织上相同的，元数据可以保存在MYSQL数据库中举例如下$ hdfs dfs -put stduent01,stduent02,student03 /inputhive>create external table external_student(sid int,sname s...
基于Apache Sentry的Hive权限管理
高矮
12-04 4696
前言：本文是基于Apache Sentry做Hive权限管理的相关配置及测试 hue权限管理请参考：https://blog.csdn.net/u012551524/article/details/79392439 hive自身的权限管理请参考：https://blog.csdn.net/u012551524/article/details/79655370 CDH环境安装参考：https:...
hive开通sentry权限问题梳理
寒夜
11-17 1268
一、hive权限变更缓慢 1、背景说明 2、问题分析 3、解决方式 二、sentry同步hive权限缓慢 1、背景说明 2、问题分析 三、sentry所用mysql字符集问题 1、背景说明 2、问题说明 3、解决办法 四、客户端下发问题 1、背景说明 2、问题说明 3、解决办法 五、yarn资源池配置 1、背景说明 2、问题说明 3、解决办法 六、sentry uri授权问题 1、问题说明 2、问题说明 3、解决办法 七、beeline启用sentry后，无法使用add file xxx 和add jar
Hive内部表和外部表
01-07
创建表时使用关键字external创建的表就是外部表，没有使用该关键字创建的表就是内部表。 删除表时(drop table)内部表会删除hdfs对应路径，而外部表不会删除hdfs对应的路径, 删除表无论是内部表和外部表都会删除元...
解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
01-09
今天在使用Hadoop集群上的Hive时，结果出现了以下的情况。 hive (default)> show databases; FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to...
hive外部表使用语句
最新发布
07-05
hive外部表使用语句
66.管理Hive外部表——Sentry
大勇若怯任卷舒
11-11 1199
66.1 演示环境介绍 操作系统：CentOS6.5 CM和CDH版本：5.12.1 采用root用户操作 集群运行正常，Kerberos/HDFS/Hive/Impala/Hue服务已与Sentry集成，Hive用户是超级用户 66.2 操作演示 创建测试库及外部表 使用hive用户登录Kerberos，并通过beeline登录HiveServer2 创建fayson数据库 0: jdbc:hive2://localhost:10000/> create database fayson
saas-export项目-RBAC权限模型
weixin_46335487的博客
11-01 278
RBAC权限模型引入 （1）如何设计用户权限 普通的用户权限设计 三个表搞定（用户表，权限表，用户权限表） （2）有什么特点? 》1 租户增加，选成会大量的冗余数据！ 》2 添加或者删除权限不方便 建议使用RBAC权限模型 RBAC权限模型介绍 （1）什么是RBAC权限模型? RBAC 是基于角色的访问控制（Role-Based Access Control ） （2）RBAC权限模型有什么特点? 》》1 先给角色设置权限 》》2 再给用户分配角色 》》3 最后用户得到这些角色的权限 》》
基于 Sentry Hive 权限控制命令详解
jast
08-11 6246
Sentry不支持Hive CLI列权限管理，建议禁用Hive CLI。 （也不支持SparkSql列权限管理） #权限分为 SELECT ,INSERT ,ALL #查看所有role show roles; #创建role create role role_name; #删除role drop role role_name; #将某个数据库读权限授予给某个role GRAN...
FAILED: SemanticException No valid privileges User p55_u33_userchk does not have privileges for LOAD
Adnerly的专栏
10-30 7668
场景：大数据平台使用sentry做权限控制。使用代理用户从后台直接在hdfs上创建了目录/sap/webservice,将数据put到此目录,然后load数据到hive表中报错如下： Caused by: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: Semantic...
Sentry权限管理
qq_32470399的博客
12-27 4102
1、Sentry的管理对象有三个，数据库，角色，组。 数据库是在hive里面创建的， 角色可以在hive或者impala里面创建， 组是操作系统的组 2、Sentry的权限管理通过hive和impala语句完成，为了便于管理，Sentry中的对象进行如下规范： 1、Sentry中的角色和数据库命名一致，一个角色对应一个数据库。 2、Sentry中的角色与组是多对一的关系，即一个组可以拥...
impala AuthorizationException: User 'root' does not have privileges to access
Yuan_CSDF的博客
12-02 5023
进入impala-shell 使用 invalidate metadata;
HDFS中将普通用户增加到超级用户组supergroup以及其应用场景
热门推荐
冯立彬的博客
08-31 2万+
Hadoop平台会集成不同的组件，如hdfs、yarn、hive等，不同用户的操作权限不同，除了hdfs是超级用户以外，其它用户都默认是普通用户权限，但是有些场景之下，我们希望普通具有具有hdfs的超级权限，如我oozie中调试shell任务，其中shell调用sqoop从数据中导入数据到hive中，其后会通过Yarn来执行MapReduce这么一个过程，不过Yarn在执行的时候，会在hdfs的/...
Hive内部表和外部表的区别
qq_41544550的博客
07-27 1536
1）内部表数据由Hive自身管理，外部表数据由HDFS管理； 2）内部表的数据存储位置是hive.metastore.warehouse.dir，默认位置：/user/hive/warehouse，外部表数据的存储位置由自己制定（如果没有LOCATION，Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹，并将属于这个表的数据存放在这里）； 3）删除内部表会直接删除元数据（metadata）及存储数据；删除外部表仅仅会删除元数据，HDFS上的文件并不会被
hive记录-cdh配置hive和sentry
weixin_30301183的博客
07-18 372
1.cdh添加组件-sentry-选择主机-配置数据库 2.配置数据库 1）mysql -uroot -p 2) create database sentryDEFAULT CHARSET utf8 COLLATE utf8_general_ci; 3) grant all privileges on sentry.* to root@'%' identified by '123' wi...
【多选题】有关hive的说法正确的是： A A. hive中可以通过修改配置文件使用MySQL数据库 B B. hive中是用MySQL数据是为了保存hive处理后的数据 C C. hive中的hql操作本质就是MapReduce操作 D D. 创建外部表和内部表的语句相同，只是数据与表出现的顺序不同
06-13
在Hive中，创建外部表和内部表的语句基本相同，只是在创建外部表时需要指定数据的存储位置，而在创建内部表时则不需要。同时，在删除外部表时，不会删除数据，而在删除内部表时，会将数据一同删除。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值