Java 连接 HBase ( kerberized 集群 )

最新推荐文章于 2023-12-12 23:22:21 发布
最新推荐文章于 2023-12-12 23:22:21 发布
阅读量677 收藏 2
点赞数

点击上方“程序员大咖”，选择“置顶公众号”

关键时刻，第一时间送达！640?640?wx_fmt=gif


来源：王洁

imaidata.github.io/blog/2017/07/11/java连接HBASE(kerberized集群)/

程序员大咖整理发布，转载请联系作者获得授权


讲解如何通过 Java 或 Scala 在启用 Kerberos 的群集中连接到 HBase。
本测试需要一个启用了kerberos的HDP集群。集群搭建参考《Ambari在本地VM(centos7.3)部署hadoop集群》。本测试在HDP集群的C7302节点(centos7.3)上进行。首先，下载java样例代码：

https://imaidata.github.io/blog/ambari_centos/

$ cd /opt
$ git clone https://github.com/wbwangk/hdp-test-examples

这个github库是从jjmeyer0/hdp-test-examples库fork的。主要修改有：

修改了 pom.xml 文件：增加了对 HDP2.6.1 的支持；去掉了 Scala 相关依赖，因为会导致构建失败
修改了 src/main/java/com/jj/hbase/HBaseClient.java 中 jj 用户主体为 jj@AMBAR.APACHE.ORGI

创建keytab

在 c7302 节点用管理员账号登录 KDC，然后创建叫jj的主体，并导出 keytab：

$ kinit root/admin@AMBARI.APACHE.ORG
$ kadmin -q "addprinc jj"         (创建jj主体，需要输入两次密码，密码是1)
$ ktutil
ktutil:  addent -password -p jj -k 1 -e RC4-HMAC
Password for jj@AMBARI.APACHE.ORG: 1
ktutil:  wkt jj.keytab                              (生成了keytab文件)
ktutil:  q
$ scp jj.keytab /opt/hdp-test-examples/src/main/resources
准备HBase用户

jj 用户必须在 HBase 中获得正确的权限。Ambari 为 HBase创建一个管理员用户，通过 keytab 查找管理员用户主体。并利用它登录，利用密钥文件登录不需要密码：

$ klist -kt /etc/security/keytabs/hbase.headless.keytab           (查看hbase服务的printcipal )
KVNO Timestamp           Principal
---- ------------------- ------------------------------------------------------
   1 07/06/2017 03:53:35 hbase-hdp2610@AMBARI.APACHE.ORG
$ kinit -kt /etc/security/keytabs/hbase.headless.keytab hbase-hdp2610              (实测只能用这个主体登录，即使root/admin主体都不行)
$ hbase shell
hbase(main):001:0> grant 'jj','RW'
准备配置文件

运行例子需要的文件有三个：

hbase-site.xml.keytab
*krb5.conf   前文已经复制了jj.keytab，现在要复制另外两个。

由于使用HDP集群的节点充当客户机，所以直接在本节点复制文件即可：

$ scp /etc/hbase/conf/hbase-site.xml /opt/htp-test-examples/src/main/resources/
$ scp /etc/krb5.conf /opt/htp-test-examples/src/main/resources/

对于测试，建议在 hbase-site.xml 中更改 “hbase.client.retries.number” 属性。默认情况下为35。这个“重试次数”这在运行测试时太大了，复制后可以修改为3。

其它修改

目录/opt/hdp-test-examples/src下有两个目录：main和test。main目录放置客户端程序，而test目录是单元测试目录。 来到目录/opt/hdp-test-examples/src/test/java/com/jj下看看，发现除了hbase还有个pig目录。如果只是测试java客户端连接hbase，建议删除pig目录。否则在maven构建是也会执行pig的单元测试，而由于没有正确配置pig，导致必然出错使构建失败。

代码讲解

例子的 Java 代码位于 src/main/java/com/jj/hbase/HBaseClient.java。在代码中，首先需要做的是创建和加载 HBase 配置：

// Setting up the HBase configuration
Configuration configuration = new Configuration();
configuration.addResource("src/main/resources/hbase-site.xml");

接下来指向 krb5.conf 文件并设置 Kerberos 主体和 keytab。

// Point to the krb5.conf file.
System.setProperty("java.security.krb5.conf", "src/main/resources/krb5.conf");
System.setProperty("sun.security.krb5.debug", "true");

// Override these values by setting -DkerberosPrincipal and/or -DkerberosKeytab
String principal = System.getProperty("kerberosPrincipal", "jj@AMBARI.APACHE.ORG");
String keytabLocation = System.getProperty("kerberosKeytab", "src/main/resources/jj.keytab");

现在使用上面定义的主键和 keytab 登录。

UserGroupInformation.setConfiguration(configuration);
UserGroupInformation.loginUserFromKeytab(principal, keytabLocation)
Maven构建、测试
$ cd /opt/hdp-test-examples
$ mvn clean test -P hdp-2.6.1    (如果网络差则耗时较长)
[INFO] Scanning for projects...
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Building hdp-test-examples 1.0-SNAPSHOT
[INFO] ------------------------------------------------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.4.1:clean (default-clean) @ hdp-test-examples ---
[INFO] Deleting /opt/hdp-test-examples/target
[INFO]
[INFO] --- maven-resources-plugin:2.5:resources (default-resources) @ hdp-test-examples ---
[debug] execute contextualize
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 10 resources
[INFO]
[INFO] --- maven-compiler-plugin:2.3.2:compile (default-compile) @ hdp-test-examples ---
[INFO] Compiling 5 source files to /opt/hdp-test-examples/target/classes
[INFO]
[INFO] --- maven-resources-plugin:2.5:testResources (default-testResources) @ hdp-test-examples ---
[debug] execute contextualize
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:2.3.2:testCompile (default-testCompile) @ hdp-test-examples ---
[INFO] Compiling 1 source file to /opt/hdp-test-examples/target/test-classes
[INFO]
[INFO] --- maven-surefire-plugin:2.10:test (default-test) @ hdp-test-examples ---
[INFO] Surefire report directory: /opt/hdp-test-examples/target/surefire-reports

-------------------------------------------------------
 T E S T S
-------------------------------------------------------
Running com.jj.hbase.HBaseClientTest
Tests run: 4, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.552 sec

Results :

Tests run: 4, Failures: 0, Errors: 0, Skipped: 0

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 5.145s
[INFO] Finished at: Wed Jul 19 07:19:34 UTC 2017
[INFO] Final Memory: 38M/91M
[INFO] ------------------------------------------------------------------------

可以自己读一下单元测试代码 /opt/hdp-test-examples/src/test/java/com/jj/hbase/HBaseClientTest.java。看上去，代码中它似乎连接上 HBase，然后建表并插入几行数据。

碰到的问题

虚拟机内存不足，将内存由 3G 改成 4G 后问题解决；构建过程中一些 jar 包下载失败，修改 pom.xml，去掉 Scala相关依赖后问题解决；
pig 测试失败，删除 pig 的单元测试目录；通过 HBase shell 无法进行 grant，改用 hbase-hdp2610 主体并加大虚拟机内存后解决。

这里是完整代码

https://github.com/wbwangk/hdp-test-examples

Windows下的测试

前文是在 Centos7.3下进行的测试。下面在 Windows下进行测试。毕竟很多人使用 Windows+Eclipse 进行开发。下面的测试并没有直接使用 Eclipse，而是更直接的命令行测试。希望有人能够补充上 Eclipse 下的测试。关于 Eclipse 下的相关配置可以参考 hortonworks 的一篇社区文章(“Hortonworks Data Platform Artifacts”)。

https://community.hortonworks.com/articles/43727/hortonworks-data-platform-development-guide.html

测试使用了git bash命令行工具。git base在 Windows 下模拟的类似 Linux 的命令，但实际上使用的 Windows  操作系统文件。关于 git base 的安装使用参考这个文档《Ambari 在本地 VM 部署 Hadoop 集群》。在 git base 上测试通过后，之后又直接在 Windows 命令行下进行了测试。需要说明的是，git bash 和 Windows 使用了不同的环境变量，如PATH。

https://imaidata.github.io/blog/ambari_vm/

在 Windows 下需要安装 JDK1.8 和 Maven。Maven是 Java 实现的，所以是所有平台通用的。在 Maven 的这篇文档(“Maven on Windows”)中要求 JDK 的安装目录名称不要有空格（如Program Files就不行）。Maven被我安装在了 e:\maven。在 git bash 下运行 Maven 的方法是 /e/maven/bin/mvn。

http://maven.apache.org/guides/getting-started/windows-prerequisites.html

准备代码和配置文件

测试在 Windows 的 e:\opt 目录下进行。以下操作在 git bash 窗口中进行：

$ cd /e/opt
$ git clone https://github.com/wbwangk/hdp-test-examples
$ cd hdp-test-examples
$ scp root@c7302:/etc/krb5.conf src/main/resources/
$ scp root@c7302:/etc/hbase/conf/hbase-site.xml src/main/resources/
$ scp root@c7302:/opt/hdp-test-examples/src/main/resources/jj.keytab src/main/resources/

上述三个 scp 操作时把测试用到3个配置文件从 Linux 下网络复制到了 Windows 下。确保 Windows 的 hosts 文件中定义了3台虚拟机的 IP 和域名。

执行构建和单元测试
$ /e/maven/bin/mvn clean test -P hdp-2.6.1
(省略一些下载信息)
-------------------------------------------------------
 T E S T S
-------------------------------------------------------
Running com.jj.hbase.HBaseClientTest
Tests run: 4, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.42 sec

Results :

Tests run: 4, Failures: 0, Errors: 0, Skipped: 0

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 02:27 min
[INFO] Finished at: 2017-07-20T07:40:15+08:00
[INFO] Final Memory: 31M/206M
[INFO] ------------------------------------------------------------------------
直接在Windows命令行下测试

进入 Windows 命令行后：

$ e:
$ cd \opt\hdp-test-examples
E:\opt\hdp-test-examples> mvn clean test -P hdp-2.6.1
[INFO] Scanning for projects...
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] Building hdp-test-examples 1.0-SNAPSHOT
[INFO] ------------------------------------------------------------------------
[INFO]
[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ hdp-test-examples ---
[INFO] Deleting E:\opt\hdp-test-examples\target
[INFO]
[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ hdp-test-examples ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 10 resources
[INFO]
[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) @ hdp-test-examples ---
[INFO] Changes detected - recompiling the module!
[INFO] Compiling 5 source files to E:\opt\hdp-test-examples\target\classes
[INFO]
[INFO] --- maven-resources-plugin:2.6:testResources (default-testResources) @ hdp-test-examples ---
[INFO] Using 'UTF-8' encoding to copy filtered resources.
[INFO] Copying 1 resource
[INFO]
[INFO] --- maven-compiler-plugin:3.1:testCompile (default-testCompile) @ hdp-test-examples ---
[INFO] Changes detected - recompiling the module!
[INFO] Compiling 1 source file to E:\opt\hdp-test-examples\target\test-classes
[WARNING] /E:/opt/hdp-test-examples/src/test/java/com/jj/hbase/HBaseClientTest.java: E:\opt\hdp-test-examples\src\test\java\com\jj\hbase\HBaseClientTest.java使用了未经检查或不安全的操作。
[WARNING] /E:/opt/hdp-test-examples/src/test/java/com/jj/hbase/HBaseClientTest.java: 有关详细信息, 请使用 -Xlint:unchecked 重新编译。
[INFO]
[INFO] --- maven-surefire-plugin:2.12.4:test (default-test) @ hdp-test-examples ---
[INFO] Surefire report directory: E:\opt\hdp-test-examples\target\surefire-reports

-------------------------------------------------------
 T E S T S
-------------------------------------------------------
Running com.jj.hbase.HBaseClientTest
Tests run: 4, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.318 sec

Results :

Tests run: 4, Failures: 0, Errors: 0, Skipped: 0

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 3.624 s
[INFO] Finished at: 2017-07-20T08:15:17+08:00
[INFO] Final Memory: 30M/321M
[INFO] ------------------------------------------------------------------------

640?wx_fmt=gif640?【点击成为源码大神】

程序员大咖
关注
Java程序连接Hbase集群
DreamsArchitects的博客
07-13 751
Java程序连接Hbase集群，并使用API增删改查
38.Java连接HBase
大勇若怯任卷舒
08-26 508
38.1 实验环境 Intellij已安装且正常运行 Maven环境正常 RedHat7.2 CM和CDH版本为5.11.2 CDH集群下载HBase客户端配置 krb5.conf配置 直接使用CDH集群的Kerberos配置 #Configuration snippets may be placed in this directory as well includedir /etc/krb5.conf.d/ [logging] default = FILE:/var/log/krb5lib
java连接hbase集群_HBase伪集群配置
weixin_39825722的博客
02-26 199
与Hadoop一样，HBase也有三种运行模式：Standalone,Distributed,Pseudo-distributed。其中，Pseudo-distributed称为伪集群模式，与Distributed基本一样，只不过进程都运行在一台机器上。1、对HDFS配置伪集群模式。2、配置HBasehbase-site.xmlhbase.rootdirhdfs://localhost:900...
Java客户端访问HBase集群解决方案(优化)
wangchaoqi1985的博客
08-13 143
Java客户端访问HBase集群解决方案(优化)
java 连接hbase shell_hbase集群启动后通过 base shell的命令行可以正常访问, 就是Java连接一直报错?...
weixin_33957382的博客
02-17 169
hbase shell 命令行正常, 正常运行命令;在浏览器输入:60010 也可以正常看到三个节点;用java连接就报KeeperErrorCode = NoNode for /hbase/hbaseidCall exception, tries=7, retries=16, started=8196 ms ago, cancelled=false, msg=org.apache.zookeep...
Java SpringBoot 连接 Hbase Demo
07-26
Java SpringBoot 连接 Hbase Demo 创建表 插入数据 列族 列 查询：全表、数据过滤 删除数据 删除表 Hbase 集群搭建：https://blog.csdn.net/weixin_42176639/article/details/131796472
Java连接hbase
ccyhYY的博客
01-18 3255
在hbase中添加测试数据 见《实验3-HBase安装及配置》的5、Hbase的基本使用 添加一张student表 修改配置文件 登录centos，用hadoop用户登录 ①修改hadoop核心配置 sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml 结果如下 IP地址要根据自己的情况改成自己的centos系统IP地址。 保存退出（esc键，输入:wq） ②修改hbase核心配置文件hbase-site.xml sudo vi /usr/local/hba
Java连接HBASE数据库
玉儿小跟班
07-08 3520
HBASE是建立在Hadoop分布式系统基础之上的列模式数据库，Java连接HBASE需要如下几个jar包：hadoop-common、hadoop-mapreduce-client-core、hbase-common、hbase-client。这些jar包在maven仓库里都有，地址：https://mvnrepository.com/artifact/org.apache.hadoop，打开pom.xml文件拷贝如下代码进行自动导包（包版本自己选） <!-- https://mvnreposi
java连接hbase集群_连接Hbase集群的客户端配置和依赖
weixin_29214715的博客
02-26 952
因为Hbase的Master有可能转移，所有客户端需要访问ZooKeeper来获得现在的位置。ZooKeeper会保存这些值。因此客户端必须知道Zookeeper集群的地址，否则做不了任何事情。通常这个地址存在hbase-site.xml里面，客户端可以从CLASSPATH取出这个文件.如果你是使用一个IDE来运行Hbase客户端，你需要将conf/放入你的 classpath,这样hbas...
Win下使用Java连接远程完全分布式集群上的HBase-附件资源
03-02
Win下使用Java连接远程完全分布式集群上的HBase-附件资源
在集群中java 通过调用API操作HBase 0.98
05-13
在集群中java通过调用API操作HBase0.98 本文的内容是在集群中创建java项目调用api来操作hbase，主要涉及对hbase的创建表格，删除表格，
hbase- java开发连接工具类
09-03
java开发连接hbase的jar包，1.2.1版本的hbase-client.jar，还有其他jar包，很全
头歌——HBase 开发：使用Java操作HBase
最新发布
Changersh
12-12 6004
头歌——HBase 开发：使用Java操作HBase
Java连接HBase
邢为栋
08-25 8171
Java连接HBase的方法，包含Kerberos认证。 代码示例： package com.example.hbase.admin; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hba
java连接hbase
gq2qq的博客
11-24 467
public class NewHbaseUtils51 { private static Configuration conf; private static Connection hconnection; static { conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","master
java连接hbase,maven项目
04-06
如何用Java连接HBase和使用Maven管理项目？ 要连接HBase和使用Maven来管理项目，你需要以下步骤： 1.安装和配置HBase：在你的机器上安装HBase，并确保HBase配置正确。 2.创建Maven项目：在你的IDE中创建一个新的Maven项目。 3.添加依赖项：在Maven项目中添加HBase和Hadoop的依赖项，以便能够正确连接到HBase。 4.连接HBase：使用Java HBase API连接到HBase，并执行相关操作，例如读取和写入数据。你可以在HBase的Java API文档中找到相关信息。 例子代码： ``` import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.Table; public class HBaseExample { public static void main(String[] args) { Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "localhost"); config.set("hbase.zookeeper.property.clientPort", "2181"); Connection connection = ConnectionFactory.createConnection(config); Table table = connection.getTable(TableName.valueOf("mytable")); // do some operations on the table table.close(); connection.close(); } } ``` 这是一个使用Java HBase API连接HBase的简单示例。在代码中，首先我们创建一个HBaseConfiguration并设置一些必要的参数，例如HBase ZooKeeper的位置和端口号。然后，我们使用ConnectionFactory.createConnection创建一个HBase连接。接下来，我们获取一个Table对象并执行一些操作。最后，我们关闭Table和连接对象。 希望这可以帮助你了解如何使用Java连接HBase和使用Maven管理项目。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值