用Java访问带有Kerberos认证的HBase
开始之前
因为HBase的存储系统是基于Hadoop的存储,现在Hadoop已经增加了Kerberos认证机制,这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。
Kerberos是一个认证中心,客户端在访问HBase前必须通过认证才能访问,下图是Kerberos的认证图:
我们不需要详细介绍Kerberos的原理,但是大概流程可以说一下:
当HBase客户端访问HBase的时候,首先必须访问KDC获取一个经过授权的票据,以后Client在访问HBase server的时候可以通过这个票据进行访问。
正常情况下当我们通过HBase客户端访问的时候,都需要进行一次认证的过程,认证过后,KDC返回的票据具有有效期,一般默认是10小时,换句话说在这10个小时内你不需要再次登录KDC进行认证。
1,Linux客户端认证方式
如果我们现在处在Linux客户端上想进行HBase Client的Kerberos认证怎么办,我们怎么登录KDC进行认证? 在Linux有一个Kinit可以完成这种认证过程,可以通过kinit之后,传入必要的参数(例如用户名和密码)等就可以认证。 同时Kerberos还提供了另外一种方式就是我们可以通过一个.keytab 文件直接认证,这样我们就不需要记住这些密码了,keytab这个文件从哪来的呢,这也是在配置Hadoop的时候通过一个ktutil工具生成的。我们可以理解成.keytab文件是带有密码的一个文件就可以了,只要拿到这个文件我们就可以在linux机器上运行kinit 完成这个登录认证的过程 (其中hbase.keytab是服务端生成的文件)
kinit -k -t /etc/hadoop/conf/hbase.keytab hbase/1722.myip.domain@HADOOP.COM
认证完成后我们就可以直接用 hbase shell操作Hbase了
2, Java程序认证方式
通过Linux kinit 命令我们很容易的完成认证,但是如果要是用Java程序编码怎么完成这种登录认证呢?
2.1 我们把服务器端的 hbase.keytab 文件 copy到 本地一个磁盘,例如
c:\
2.2 我们copy远程集群一个hbase-site.xml文件放到你运行环境的classpath下,这个和正常没有kerberos的HBase访问是一样的
2.3 接下来我们需要用到 UserGroupInformation API来进行访问,这个API需要一个参数 principal 和一个你的 keytab 文件,这里文件里面存储的是相关的密码
程序代码实例如下:
package
com.hbasedemo;
import
java.io.IOException;
import
org.apache.hadoop.conf.Configuration;
import
org.apache.hadoop.hbase.HBaseConfiguration;
import
org.apache.hadoop.hbase.KeyValue;
import
org.apache.hadoop.hbase.client.HTable;
import
org.apache.hadoop.hbase.client.Result;
import
org.apache.hadoop.hbase.client.ResultScanner;