使用DBeaver访问Kerberos环境下的Hive

应用背景

有时想看看大数据平台上Hive表的结构和数据字典，或者对数据进行简单查询、核验，可以装一个SQL开发工具访问CDH集群中的Hive。

测试环境：

• CDH版本为5.13.1
• 客户端OS为Windows 10或Windows 7.

配置Kerberos客户端环境

在客户端OS Windows 10或Windows 7上安装Kerberos客户端，在Kerberos官网下载，地址如下，

https://web.mit.edu/kerberos/dist/index.html

一路点击Next完成安装。

配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件，将KDC Server服务器上/etc/krb5.conf文件中的部分内容，拷贝到krb5.ini中，如果直接将krb5.conf文件更名为krb5.ini并替换krb5.ini，会出现文件格式问题导致MIT Kerberos客户端无法正常启动。

[libdefaults]
default_realm = MYCDH.COM
dns_lookup_kdc = false
dns_lookup_realm = false
ticket_lifetime = 604800
renew_lifetime = 25920000
forwardable = true
default_tgs_enctypes = des-cbc-crc des3-cbc-sha1
default_tkt_enctypes = des-cbc-crc des3-cbc-sha1
permitted_enctypes = des-cbc-crc des3-cbc-sha1
udp_preference_limit = 1
kdc_timeout = 3000
[realms]
MYCDH.COM = {
kdc = kerberos.mycdh.com
admin_server = kerberos.mycdh.com
}
[domain_realm]

配置环境变量，krb5.ini以及Kerberos Credential Cache File的路径，

• 变量名：KRB5_CONFIG，变量值：C:\ProgramData\MIT\Kerberos5\krb5.ini。
• 变量名：KRB5CCNAME，变量值：C:\temp\krb5cache。

KRB5CCNAME的路径默认是不存在的，因此需要在C盘下创建temp文件夹，krb5cache文件则不需要创建。

配置完环境变量后，重启计算机使其生效。

使用keytab文件登录Kerberos

在KDC Server上创建一个keytab文件，

sudo kadmin.local
kadmin.local:  addprinc padluo@MYCDH.COM
WARNING: no policy specified for padluo@MYCDH.COM; defaulting to no policy
Enter password for principal "padluo@MYCDH.COM": 
Re-enter password for principal "padluo@MYCDH.COM": 
Principal "padluo@MYCDH.COM" created.
kadmin.local:  xst -norandkey -k padluo.keytab padluo@MYCDH.COM
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type aes256-cts-hmac-sha1-96 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type aes128-cts-hmac-sha1-96 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type des3-cbc-sha1 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type arcfour-hmac added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type des-hmac-sha1 added to keytab WRFILE:padluo.keytab.
Entry for principal padluo@MYCDH.COM with kvno 1, encryption type des-cbc-md5 added to keytab WRFILE:padluo.keytab.

在生成keytab文件时需要加参数-norandkey，否则会导致，直接使用kinit padluo@MYCDH.COM初始化时会提示密码错误。

测试padluo.keytab文件，

kdestroy
sudo chmod 644 padluo.keytab
ll padluo.keytab
kinit -kt padluo.keytab padluo@MYCDH.COM
klist

在非root用户下需要将生成的keytab文件，权限设置到644以上，否则会初始化失败kinit: ???? while getting initial credentials或者使用sudo权限初始化。

将生成的padluo.keytab文件拷贝到Windows 10/7上，在CMD命令进行初始化，

kdestroy
kinit -kt C:\padluo.keytab padluo@MYCDH.COM
klist

初始化成功，在MIT Kerberos客户端显示，

DBeaver安装配置

DBeaver安装包下载地址如下，安装为界面化操作，下一步下一步完成安装即可。

https://dbeaver.io/download/

因为DBeaver通过JDBC的方式访问Hive，底层也是基于Java环境，所以这里需要在DBeaver的配置中增加JVM的参数，添加关于Kerberos相关的配置。进入DBeaver的安装目录，找到dbeaver.ini配置文件，在配置文件末尾增加如下配置，重新启动DBeaver客户端。

-Djavax.security.auth.useSubjectCredsOnly=false
-Djava.security.krb5.conf="C:\ProgramData\MIT\Kerberos5\krb5.ini"
-Dsun.security.krb5.debug=true

基于Cloudera驱动创建连接

在Cloudera官网下载Hive JDBC驱动包，Cloudera官网提供的JDBC驱动包比较简单只有一个jar包，Hive JDBC驱动包及其依赖包均打包在里面，但在JDBC URL的访问方式上也做了一定的调整。地址如下，

https://www.cloudera.com/downloads/connectors/hive/jdbc/2-6-5.html

将下载的Hive JDBC Driver驱动包解压到本地目录，将ClouderaHiveJDBC41-2.6.2.1002解压得到HiveJDBC41.jar驱动包，该驱动包包含了HiveJDBC驱动的依赖包。

在DBeaver中进入驱动设置界面，在URL模板中增加如下参数：

;AuthMech=1;KrbRealm=MYCDH.COM;KrbHostFQDN={host};KrbServiceName=hive;KrbAuthType=2

AuthMech: 0无认证、1Kerberos认证、2用户名方式、3用户名和密码认证、6使用Hadoop授权认证

KrbRealm：你的KDC服务定义的域名

krbHostFQDN：你的HiveServer2服务的FQDN（hostname或你dns解析的域名）

KrbServiceName：HiveServer2服务的Principal默认为hive

KrbAuthType：0表示获取你的Subject来实现Kerberos认证、1表示基于JAAS方式获取Kerberos认证、2表示基于当前客户端的Tick Cache方式认证

添加Cloudera提供的Hive JDBC驱动，驱动类需要指定为"com.cloudera.hive.jdbc41.HS2Driver"。

点击确定完成驱动设置，填写替换{host}变量的主机地址，

点击测试连接，

完成连接创建后即可正常访问Kerberos环境下的Hive库。

基于Hive原生驱动创建连接

基于Hive原生驱动创建连接的方式暂未进行测试。

最后，推荐极客时间新出的一个【大规模数据处理实战】的专栏，了解Google一线工程师的大数据架构实战经验，深入掌握实用的大规模数据处理技术。

---

微信公众号「padluo」，分享数据科学家的自我修养，既然遇见，不如一起成长。

---

读者交流电报群

https://t.me/sspadluo

---

知识星球交流群