C C++最新数据治理(十五):Ranger管理Hive安全_hive ranger,C C++原生开发如何深入进阶

img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上C C++开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以戳这里获取

进入到“/software/ranger-2.1.0-hive-plugin”目录下,执行如下命令,启用插件:

[root@node1 ~]# cd /software/ranger-2.1.0-hive-plugin
[root@node1 ranger-2.1.0-hive-plugin]# enable-hive-plugin.sh

三、配置Ranger连接Hive服务

安装好以上Hive-Plugin之后,重新启动HDFS,启动Hive,HiveMetastore、HiveServer2等。如果想要对连接Hive的用户进行表、列权限管理,需要在Ranger中添加对应的Hive服务,才可以使用Ranger通过这个服务配置每个用户对Hive库、表、列权限管理。配置如下:

1)启动HDFS,启动Hive、Hive MeateStore、Hive Server2
#启动HDFS,在node1节点上启动Hive metastore
[root@node1 conf]# start-all.sh
[root@node1 conf]# hive --service metastore &
[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &
2)在Ranger页面中配置Hive

注意,以上参数解释如下:

  • “Service Name”填写当前Hive 服务名称,与Hive插件中"install.properties"文件配置参数"REPOSITORY_NAME"保持一致。
  • 配置的“user”和“password”也是与"install.properties"文件中配置的“CUSTOM_USER=root”、“CUSTOM_GROUP=root”保持一致。
  • “jdbc.url”填写“jdbc:hive2://node1:10000”即可,这里连接node1。

添加完成之后:

3)连接测试是否可以jdbc方式连接上Hive

注意:这里连接时,单机测试连接时需要等待一段时间,才能正常连接。

四、​​​​​​​Ranger对Hive用户进行权限管理

查看Ranger中配置好的Hive权限管理服务:

修改上图中只有root用户对所以库、表、列具有操作权限,修改后如下:

在node3中登录beeline连接node1 hive:

#node3 通过beeline连接Hive
[root@node3 ~]# beeline
#连接HiveServer2 jdbc连接
beeline> !connect jdbc:hive2://node1:10000
#这里用户名目前可以随意输入,在Hive中没有校验,这里可以通过Hive配置有哪些用
#户可以连接Hive,然后通过Ranger再管理这些用户的细粒度访问权限。从上图中可以
#看到目前只有root用户可以访问表数据,可以使用非root用户测试,这里使用
#“diaochan”用户:
Enter username for jdbc:hive2://node1:10000: diaochan
#由于Hive中没有检验密码,所以这里可以随意输入任意密码
Enter password for jdbc:hive2://node1:10000: ****
#查询库下的表,没有权限。
0: jdbc:hive2://node1:10000> show tables
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [daochan] does not have [USE] privilege on [de
fault] (state=42000,code=40000)

#重新使用root用户登录beeline,查询对应的表,有权限
[root@node3 ~]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000: *** #密码随意
0: jdbc:hive2://node1:10000> show tables;

下面在Hive中创建两张表进行权限管理:

#在Hive中创建两张表
create table student (id int,name string,age int) row format delimited fields terminated by '\t';
create table score (id int,name string,score int) row format delimited fields terminated by '\t';

上传数据附件,将以上文件上传到node3“/software/test”下

1	zhangsan	18
2	lisi	19
3	wangwu	20
4	maliu	21
5	tianqi	22
6	zhaoba	23

1	zhangsan	100
2	lisi	200
3	wangwu	300
4	maliu	400
5	tianqi	500
6	zhaoba	600
#加载数据:
hive> load data local inpath '/root/test/students.txt' into table student;
hive> load data local inpath '/root/test/scores.txt' into table score;

权限需求:对用户“user1”配置以上两张表的访问和修改权限,对用户“user2”配置对两张表只有访问权限。

配置步骤如下:

1)在node1节点创建两个用户,密码为对应用户名称

#创建两个用户user1,和user2
[root@node1 ~]# useradd user1
[root@node1 ~]# passwd user1

[root@node1 ~]# useradd user2
[root@node1 ~]# passwd user2

2)在Ranger页面,打开“hive_repo”服务,配置如下:

配置“Student”表权限:

最终配置好如下:

3)登录Hive Beeline测试:

向HDFS中插入数据时,user1,user2用户需要操作HDFS和Yarn,所以这里将HDFS中Hive对应的路径“/user/hive/warehouse”中的“/user”路径权限改成“777”,将Yarn使用目录“tmp”路径权限改成“777”

[root@node5 bin]# hdfs dfs -chmod -R 777 /user
[root@node5 bin]# hdfs dfs -chmod -R 777 /tmp

测试登录user1,对“student”、“score”表有操作和修改权限,如下:

[root@node3 ~]# beeline
beeline> !connect jdbc:hive2://node1:10000
0: jdbc:hive2://node1:10000> select * from student;

0: jdbc:hive2://node1:10000> select * from score;

#向表student、score中插入数据,也能通过。
0: jdbc:hive2://node1:10000> insert into student values (7,"aa",24);
0: jdbc:hive2://node1:10000> insert into score values (7,"bb",700);

测试登录user2,对“student”、“score”表有操作和修改权限,如下:

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user2
Enter password for jdbc:hive2://node1:10000: *** #密码随便输入
0: jdbc:hive2://node1:10000> select * from student;

0: jdbc:hive2://node1:10000> select * from score;

#测试向“student”和“score”中插入数据,没有对应权限:
0: jdbc:hive2://node1:10000> insert into table student values (8,"cc",25);
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [d
efault/student] (state=42000,code=40000)

0: jdbc:hive2://node1:10000> insert into table score values (8,"dd",800);
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [d
efault/score] (state=42000,code=40000)

权限需求:对用户“user3”配置对“student”表中“id、name”两列有查询权限,其他列没有查询权限。

配置步骤如下:

1)在node1节点中添加用户“user3”

#创建两个用户user3
[root@node1 ~]# useradd user3
[root@node1 ~]# passwd user3

2)给用户“user3”配置表“student”的访问权限

3)测试

#user3登录beeline
[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user3
#访问表“student”数据,“age”列无法查询,select * 查询不允许
0: jdbc:hive2://node1:10000> select id ,name from student;

权限需求:对用户“user1”访问表“student”时,“age”列进行空值输出,进行脱敏。

配置步骤如下:

1)给用户“user1”配置表“student”的“Masking”访问权限

2)登录Hive Beeline测试

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user1
0: jdbc:hive2://node1:10000> select * from student;

img
img

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

bb9decd9849403ba1be26bbf85aaa04.png)

[外链图片转存中…(img-eVtcvahh-1715730174041)]
[外链图片转存中…(img-HDnZQyjj-1715730174042)]

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值