Kerberos安全认证-连载10-Hive Kerberos 安全配置及访问_idea连接 kerberos 认证的hiveserver2

在kerberos 服务端执行如下命令，创建Hive服务的kerberos Princial主体，然后将服务主体写入keytab文件。

#在kerberos 服务端node1节点执行如下命令
[root@node1 ~]# kadmin.local -q “addprinc -pw 123456 hive/node1”

#将hive服务主体写入keytab文件
[root@node1 ~]# kadmin.local -q “ktadd -norandkey -kt /home/keytabs/hive.service.keytab hive/node1@EXAMPLE.COM”

以上命令执行后，可以在node1节点的/home/keytabs目录下看到生成对应的hive.server.keytab文件。

3) 分发keytab文件并修改所属用户和组

将生成的hive服务对应的keytab密钥文件发送到hive服务端和客户端，这里node1为hive服务端，只需要发送到hive客户端node3节点即可。

#发送keytab 到node3节点
[root@node1 ~]# scp /home/keytabs/hive.service.keytab node3:/home/keytabs/

#在node1、node3两个节点修改keytab所属用户和组
chown root:hadoop /home/keytabs/hive.service.keytab
chmod 770 /home/keytabs/hive.service.keytab

4) 修改hive-site.xml配置文件

在hive服务端和客户端配置hive-site.xml，向该配置中追加如下配置：

hive.server2.authentication KERBEROS hive.server2.authentication.kerberos.principal hive/node1@EXAMPLE.COM hive.server2.authentication.kerberos.keytab /home/keytabs/hive.service.keytab hive.metastore.sasl.enabled true hive.metastore.kerberos.principal hive/node1@EXAMPLE.COM hive.metastore.kerberos.keytab.file /home/keytabs/hive.service.keytab

​​​​​​​5) 修改Hadoop core-site.xml

修改core-site.xml中相关代理配置为hive代理用户,node1~node5节点core-site.xml中修改如下配置项:

hadoop.proxyuser.hive.hosts * hadoop.proxyuser.hive.users * hadoop.proxyuser.hive.groups *

以上配置分发到Hadoop各个集群节点后，需要重新启动HDFS。

6) hive conf中准备hdfs-site.xml和core-site.xml

将hdfs配置文件hdfs-site.xml，core-site.xml 发送到客户端和服务端HIVE_HOME/conf/目录中。

​​​​​​​​​​​​​​2. Hive Cli使用Kerberos

使用Hive Client操作Kerberos需要首先启动HDFS，然后在Hive服务端启动Hive Metastore，操作如下:

#启动zookeeper及HDFS
[root@node3 ~]# zkServer.sh start
[root@node4 ~]# zkServer.sh start
[root@node5 ~]# zkServer.sh start
[root@node1 ~]# start-all.sh

#在Hive服务端node1节点启动Hive Metastore，这里可以切换成Hive用户，也可以不切换
[root@node1 ~]# su hive
[hive@node1 ~]$ hive --service metastore &

在Hive客户端node3节点上登录hive客户端：

#需要切换用户为hive，其他用户没有操作hql底层转换成mr操作的目录权限
[root@node3 ~]# su hive
[hive@node3 root]$ cd

#进行节点认证kerberos
[hive@node3 ~]$ kinit hive/node1
Password for hive/node1@EXAMPLE.COM:123456

#登录hive，建表、插入数据及查询
[hive@node3 ~]$ hive
hive> create table person (id int,name string,age int ) row format delimited fields terminated by ‘\t’;
OK
Time taken: 0.236 seconds
hive> insert into person values (1,‘zs’,18);
…
hive> select * from person;
OK
1 zs 18

#在node3节点准备如下文件及数据
[hive@node3 ~]$ cat /home/hive/person.txt
2 ls 19
3 ww 20

#在hive客户端将以上文件数据加载到hive person表中，操作如下
hive> load data local inpath ‘/home/hive/person.txt’ into table person;
hive> select * from person;
OK
1 zs 18
2 ls 19
3 ww 20

​​​​​​​​​​​​​​3. Hive beeline使用Kerberos

除了在hive客户端操作Hive外，还可以通过beeline方式操作Hive，具体步骤如下：

1) 在Hive服务端启动hiveserver2​​​​​​​

#启动hiveserver2
[hive@node1 root]$ hiveserver2

​​​​​​​​​​​​​​2) 在Hive客户端执行beeline登录hive

#在hive 客户端通过beeline登录hive
[hive@node3 ~]$ beeline
beeline> !connect jdbc:hive2://node1:10000/default;principal=hive/node1@EXAMPLE.COM

0: jdbc:hive2://node1:10000/default> select * from person;
±-----------±-------------±------------+
| person.id | person.name | person.age |
±-----------±-------------±------------+
| 1 | zs | 18 |
| 2 | ls | 19 |
| 3 | ww | 20 |
±-----------±-------------±------------+

#也可以通过以下方式通过beeline直接操作hive
[hive@node3 ~]$ beeline -u “jdbc:hive2://node1:10000/default;principal=hive/node1@EXAMPLE.COM”

注意：无论使用哪种方式通过beeline连接hive，针对kerberos认证的hive都需要指定principal参数。

​​​​​​​​​​​​​​4. JDBC访问Kerberos认证Hive

在IDEA中使用JDBC方式读取Kerberos认证Hive时需要指定krb5.conf文件、Principal主体、keytab密钥文件，然后在代码中进行设置即可JDBC方式访问Kerberos认证的Hive。具体操作步骤如下:

1) 准备krb5.conf及keytab文件

在node1 kerberos服务端将/etc/krb5.conf文件放在window固定路径中，同时将hive主体对应的keytab密钥文件放在windows固定路径中。

2) 启动HiveServer2

需要在Hive服务端启动HiveServer2服务：

#在Hive服务端node1节点执行如下命令
[root@node1 ~]# su hive
[hive@node1 root]$ hiveserver2

​​​​​​​​​​​​​​3) 编写JDBC访问Hive代码

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注网络安全获取）

一、网安学习成长路线图

网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、网安视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

三、精品网安学习书籍

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、网络安全源码合集+工具包

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、网络安全面试题

最后就是大家最关心的网络安全面试题板块

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ps://img-blog.csdnimg.cn/15c1192cad414044b4dd41f3df44433d.png)

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-a7L0si5W-1712503330893)]