Java连接phoenix问题记录

最新推荐文章于 2023-05-08 10:44:29 发布
最新推荐文章于 2023-05-08 10:44:29 发布
阅读量2k 收藏 4
点赞数 2
分类专栏： java 文章标签： java hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49945160/article/details/120222137
版权

文章目录

phoenix简介

phoenix

  • 原生的HBaseAPI使用起来比较麻烦。Apache推出的Phoenix提供了jdbc接口对HBase表进行操作。

pom依赖

 <dependency>
     <groupId>org.apache.phoenix</groupId>
     <artifactId>phoenix-core</artifactId>
     <version>5.0.0-HBase-2.0</version>
 </dependency>

jdbc连接无kerberos认证

  • 实例代码
    public static void main(String[] args) throws SQLException, IOException {
		Connection conn = null;
		try {
			Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
			//host和port为zookeeper的主机配置
			String url = "jdbc:phoenix:slave6:2181";
			conn = DriverManager.getConnection(url);
			System.out.println(conn);
			Statement stmt = conn.createStatement();
			ResultSet rs = stmt.executeQuery("select * from \"test\".\"student\"");
			while (rs.next()) {
				System.out.print("id:" + rs.getString("ID"));
				System.out.println(",name:" + rs.getString("NAME"));
			}
		} catch (ClassNotFoundException | SQLException e) {
			e.printStackTrace();
		} finally {
			if (conn != null) {
				System.out.println("连接通道关闭");
				conn.close();
			}
		}
	}

jdbc连接有kerberos认证的集群

这种方式配置比较繁琐，bug也比较多，说句题外话，Kerberos真烦

准备测试数据

  • phoenix命令行并插入测试数据
    Setting property: [incremental, false]
Setting property: [isolation, TRANSACTION_READ_COMMITTED]
issuing: !connect jdbc:phoenix:thin:url=http://slave6:8765;serialization=PROTOBUF;authentication=SPNEGO none none org.apache.phoenix.queryserver.client.Driver
Connecting to jdbc:phoenix:thin:url=http://slave6:8765;serialization=PROTOBUF;authentication=SPNEGO
Connected to: Apache Phoenix (version unknown version)
Driver: Phoenix Remote JDBC Driver (version unknown version)
Autocommit status: true
Transaction isolation: TRANSACTION_READ_COMMITTED
Building list of tables and columns for tab-completion (set fastconnect to true to skip)...
141/141 (100%) Done
Done
sqlline version 1.2.0
0: jdbc:phoenix:thin:url=http://slave6:8765> select * from "test"."student";
+-------+-------+------+-------------+
|  ID   | NAME  | AGE  |    DATE     |
+-------+-------+------+-------------+
| 1001  | 张三    | 21   | 2020-09-18  |
| 1002  | 李四    | 22   | 2020-09-18  |
| 1003  | 王五    | 28   | 2021-06-01  |
| 1004  | 赵六    | 31   | 2020-10-07  |
  • 实例代码
    public static void main(String[] args) throws SQLException, IOException {
		Connection conn = null;
		// 连接hadoop环境，进行 Kerberos认证
		Configuration conf = null;
		try {
			//使用原生hadoop的kerberos认证
			conf = HBaseConfiguration.create();
			conf.set("hbase.zookeeper.quorum", "slave2");
			conf.set("hbase.zookeeper.property.clientPort", "2181");
			conf.set("hadoop.security.authentication", "Kerberos");
			conf.set("hbase.security.authentication", "kerberos");
			UserGroupInformation.setConfiguration(conf);
			String user = "cs";
			String keyPath = "C:\\Users\\hu'shao'nan\\Desktop\\kerberosfiles\\cs.keytab";
			UserGroupInformation.loginUserFromKeytab(user, keyPath);
			Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
			String url = "jdbc:phoenix:slave6:2181";
			conn = DriverManager.getConnection(url);
			System.out.println(conn);
			Statement stmt = conn.createStatement();
			ResultSet rs = stmt.executeQuery("select * from \"test\".\"student\"");
			while (rs.next()) {
				System.out.print("id:" + rs.getString("ID"));
				System.out.println(",name:" + rs.getString("NAME"));
			}
		} catch (ClassNotFoundException | SQLException e) {
			e.printStackTrace();
		} finally {
			if (conn != null) {
				System.out.println("连接通道关闭");
				conn.close();
			}
		}
	}

连接异常1

  • 报错信息

    Caused by: java.lang.IllegalArgumentException: Can't get Kerberos realm
	at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(HadoopKerberosName.java:65)
	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:275)
	at org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:311)
	at com.alibaba.datax.plugin.reader.hdfsreader.DFSUtil.kerberosAuthentication(DFSUtil.java:88)
	at com.alibaba.datax.plugin.reader.hdfsreader.DFSUtil.<init>(DFSUtil.java:81)
	at com.alibaba.datax.plugin.reader.hdfsreader.HdfsReader$Job.init(HdfsReader.java:51)
	at com.alibaba.datax.core.job.JobContainer.initJobReader(JobContainer.java:673)
	at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:303)
	at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113)

  • 原因：认证需要的krb5.conf文件未找到

  • 解决：将krb5.conf的文件路径配置为环境变量

    			System.setProperty("java.security.krb5.conf","C:\\Users\\admin\\Desktop\\kerberosfiles\\krb5.conf");
			System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");

连接异常2

  • 报错信息

    Kerberos principal does not have the expected format: cs@EXAMPLE.COM

  • 原因:调用服务时的Kerberos凭证异常，此凭证在hbase或hive的配置文件里指定，不同于用户认证的kerberos凭证

    <property>
	<name>hbase.master.kerberos.principal</name>
	<value>hbase/_HOST@EXAMPLE.COM</value>
  </property>
  <property>
	<name>hbase.regionserver.kerberos.principal</name>
	<value>hbase/_HOST@EXAMPLE.COM</value>
  </property>

  • 解决：
    1.将对应的配置文件，如连接hbase的hbase-site.xml放在资源根目录下，java会自动读取相关配置
    2.将对应参数配置到代码中

    //前面代码同上
Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
			String url = "jdbc:phoenix:slave6:2181";
			Properties properties = new Properties();
			// 配置hbase服务的kerberos凭证信息
			properties.setProperty("hbase.master.kerberos.principal", "hbase/_HOST@EXAMPLE.COM");
			properties.setProperty("hbase.regionserver.kerberos.principal", "hbase/_HOST@EXAMPLE.COM");
			// 配置phoenix服务的kerberos凭证信息
		   properties.setProperty("phoenix.queryserver.kerberos.principal", "phoenix/slave6@EXAMPLE.COM");
			conn = DriverManager.getConnection(url, properties);

连接异常3

  • 报错信息

    Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found 
but client does not have phoenix.schema.isNamespaceMappingEnabled enabled

  • 原因:Hbase服务端或客户端的Hbase-site.xml文件中没有添加相关配置

  • 解决

    1. 集群上：cloudera manager服务端或者客户端添加配置
      集群参数配置
  1. 本地测试，在项目根目录下配置Hbase-site.xml，配置内容添加如下：
    <property>
  <name>phoenix.schema.isNamespaceMappingEnabled</name>
  <value>true</value>
  <description>命名空间开启</description>
</property>

<property>
  <name>hbase.regionserver.wal.codec</name>
  <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
  <description>二级索引支持</description>
</property>

连接异常4

  • 报错信息

    java.sql.SQLException: java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDataCoprocessorExec(ConnectionQueryServicesImpl.java:1390)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDataCoprocessorExec(ConnectionQueryServicesImpl.java:1351)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.createTable(ConnectionQueryServicesImpl.java:1538)
	at org.apache.phoenix.schema.MetaDataClient.createTableInternal(MetaDataClient.java:2721)
	at org.apache.phoenix.schema.MetaDataClient.createTable(MetaDataClient.java:1114)
	at org.apache.phoenix.compile.CreateTableCompiler$1.execute(CreateTableCompiler.java:192)
	at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:408)
	at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:391)
	at org.apache.phoenix.call.CallRunner.run(CallRunner.java:53)
	at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:390)
	at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:378)
	at org.apache.phoenix.jdbc.PhoenixStatement.executeUpdate(PhoenixStatement.java:1806)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl$12.call(ConnectionQueryServicesImpl.java:2569)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl$12.call(ConnectionQueryServicesImpl.java:2532)
	at org.apache.phoenix.util.PhoenixContextExecutor.call(PhoenixContextExecutor.java:76)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.init(ConnectionQueryServicesImpl.java:2532)
	at org.apache.phoenix.jdbc.PhoenixDriver.getConnectionQueryServices(PhoenixDriver.java:255)
	at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.createConnection(PhoenixEmbeddedDriver.java:150)
	at org.apache.phoenix.jdbc.PhoenixDriver.connect(PhoenixDriver.java:221)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:208)
	at hbase.Phoenix_Connection.main(Phoenix_Connection.java:49)
Caused by: java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString

  • 原因：Protobuf（全称 Protocol Buffers）是 Google 开发的一种数据描述语言，能够将结构化数据序列化，可用于数据存储、通信协议等方面。在 HBase 里面用使用了 Protobuf 的类库。

  • 解决：

    1. 在pom文件里添加对应依赖
      <dependency>
     <groupId>com.google.protobuf</groupId>
     <artifactId>protobuf-java</artifactId>
     <version>3.6.1</version>
</dependency>
<!-- 如果仍未解决，降低版本-->
<dependency>
     <groupId>com.google.protobuf</groupId>
     <artifactId>protobuf-java</artifactId>
     <version>2.5.0</version>
</dependency>
    2. 更换hbase客户端依赖，hbase-shaded-client是社区里有人将HBase里面比较常见的依赖进行了重命名，在pom文件中我们可以将引入的hbase-client替换成hbase-shaded-client（未尝试，我使用第一张方式已经解决）
      <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-shaded-client</artifactId>
        <version>2.0.0</version>
</dependency>

连接成功

```java
org.apache.phoenix.jdbc.PhoenixConnection@6999cd39
id:1001,name:张三
id:1002,name:李四
id:1003,name:王五
id:1004,name:赵六
连接通道关闭

Process finished with exit code 0
```
大大大古月
关注
专栏目录
【异常】使用Phoenix api操作Hbase 报错ClassNotFoundException: org.apache.phoenix.jdbc.PhoenixDriver
本本本添哥
05-09 659
想要实现基于Springboot+Phoenix+Mybatis来调用Hbase的数据，我得到了如下的异常。
phoenix连接hbase报错Can not resolve hadoop120, please check your network_记录026---大数据工作笔记0187
最新发布
添柴程序猿的专栏
08-05 325
其实做法跟这个博文中写的一样,其实就是删除原来的/hbase的配置,然后,重新启动hbase注册到zookeeper就可以了。然后再去先关闭hbase /data/module/hbase-2.4.11/bin/stop-hbase.sh。重新去开启,首先开启zookeeper,然后再去开启hadoop,然后再去启动hbase,然后再去连接看看。我查询了,hadoop的安装目录,hbase的安装目录,zookeeper的安装目录,都没有查询到.那么,hadoop120是在哪个地方呢?
java连接phoenix
weixin_40875934的博客
12-06 4752
1、在pom文件中加入jar包 · org.apache.phoenix phoenix-core 4.14.0-HBase-1.2 2、写一个测试，检验是否可以建立连接 ·public static void main(String[] args) { Properties props = new Properties(); props.setProperty(“phoenix.query.t...
Phoenix（6）：JAVA api 连接phoenix
小蚯蚓的博客
12-03 2915
1.功能作用 使用java 代码，连接phoenix，从而实现hbase数据库的增删改查。 2.配置 （1）添加mysql的maven仓库 &lt;!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --&gt; &lt;dependency&gt; &lt;groupId&gt;mysql&lt;/gro...
API连接phoenix报错:java.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties
xxxxiju的博客
10-06 869
连接phoenix时配置环境参数完全没问题的情况下出现的连接不上
Phoenix连接java
weixin_37796929的博客
06-18 528
<dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.7.0-HBase-1.1</vers...
phoenix hbase java_Phoenix(SQL On HBase)
weixin_39576294的博客
02-19 306
1.简介Phoenix是一个HBase框架，可以通过SQL的方式来操作HBase。Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。*如果需要对HBase进行复杂的操作，...
Phoenix踩坑记录（包括phoenix连接HBase一直卡住）
热门推荐
qq_46045632的博客
01-10 1万+
Exception in thread “main” java.lang.NoSuchMethodError: com.ctc.wstx.stax.WstxInputFactory.createSR(Lcom/ctc/wstx/api/ReaderConfig;Lcom/ctc/wstx/io/SystemId;Lcom/ctc/wstx/io/InputBootstrapper;ZZ)Lorg/codehaus/stax2/XMLStreamReader2; 踩坑过程： 1.下载Phoenix安装包 2.
phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180
添柴程序猿的专栏
05-08 453
删除以后刷新可以看到没有了,然后再去关闭,hbase,关闭hadoop,然后关闭zk,然后再去重新启动,然后再去试试可以了不..好像知道怎么回事了,我用nifi,连接hbase,死活连不上,网上说,让加上 /hbase-unsecure之类的。今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上。好吧 ,还是在界面上删除吧,来这里,把那个hbase文件夹删,点击右边删除按钮就可以了.然后。先启动zk,然后再去启动hadoop,然后再去启动hbase。
hadoop组件---面向列的开源数据库(八)--java使用phoenix查询hbase
直到世界的尽头
01-08 1426
我们在上篇文章中已经学习了 如果使用phoenix的shell命令行工具进行 增删改查，同时明确了 phoenix要查询hbase原生建立的表 需要创建映射表或者 映射视图。 hadoop组件—面向列的开源数据库(七)–phoenix查询hbase–映射和常用命令 本篇 记录 使用 java使用phoenix进行 增删改查。 java 使用Phoenix 加载jar包项目中 加载jar包方式一 ...
phoenix:Java Web框架
05-16
框架介绍 新一代Java开发框架，命名Phoenix，中文翻译为凤凰，火鸟。西方传说中可以浴火重生，这里使用寓意新生，重生的二代框架 总结了老框架被使用过程中遇见的各种问题，基于我们公司成员技术水平和项目特点，完全重新开发了一套 框架建立在spring boot，spring data jpa，quartz 的基础上，技术基础比较通用简单，方便大家学习和扩展 主要功能 框架自带基于角色和状态自动机型的权限控制体系 框架自带所有数据库实体对象的json映射和筛选方法，不需要写列表和详细页的后台接口，输出时不会引起递归的栈溢出 框架自带完整的增删改的功能，不需要写接口，但需要设置权限 框架自带统一的文件上传和图像处理接口，文件存储在aliyun的oss上 框架自带完整的审计功能，可以查看历史的修改记录，包括改动的细节部分 框架自带完整的群组管理体系，可在不同的维度对数据资源进行管理，监督和反馈
java-hbase-phoenix:通过Phoenix访问HBase
05-18
通过Phoenix和Java访问HBase 该存储库是有关如何通过Phoenix和Java访问HBase并执行CRUD操作的简单示例。 由于我在HBase的设置上使用伪分布式模式，因此需要hadoop和zookeeper。 如果您的HBase设置是独立的，则不需要安装和设置该堆栈 先决条件 1. 2. 3. 4. 5. 6. 运行项目的步骤 伪分布式模式 1. /hadoop-3.1.0/sbin/start-dfs.sh 2. /hadoop-3.1.0/sbin/start-yarn.sh 3. /zookeeper-3.4.12/bin/zkServer.sh启动 4. /hbase-2.0.0/bin/start-hbase.sh 5. /phoenix-5.0.0-alpha-hbase-2.0-bin/bin/queryserver.py sta
phoenix-core-4.7.0-HBase-1.1-API文档-中文版.zip
05-02
赠送jar包：phoenix-core-4.7.0-HBase-1.1.jar； 赠送原API文档：phoenix-core-4.7.0-HBase-1.1-javadoc.jar； 赠送源代码：phoenix-core-4.7.0-HBase-1.1-sources.jar； 赠送Maven依赖信息文件：phoenix-core-4.7.0-HBase-1.1.pom； 包含翻译后的API文档：phoenix-core-4.7.0-HBase-1.1-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.phoenix:phoenix-core:4.7.0-HBase-1.1； 标签：core、phoenix、apache、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
java phoenix,Java访问Phoenix连接
weixin_39935903的博客
03-19 372
两种方法，一种是直接使用jdbc连接，一种是使用spring连接。jdbc连接和访问oracle步骤相同：///////////// 测试Phoenix连接 ///////////////String testSQL = "select \"1\",\"2\" from fengji where rowid like ‘1-20170413%‘";try {Class.forName("org....
HBase 6、用Phoenix Java api操作HBase
03-11 211
开发环境准备：eclipse3.5、jdk1.7、window8、hadoop2.2.0、hbase0.98.0.2、phoenix4.3.0 　　1、从集群拷贝以下文件：core-site.xml、hbase-site.xml、hdfs-site.xml文件放到工程src下 　　2、把phoenix的phoenix-4.3.0-client.jar和phoenix-core-4.3...
Java连接Phoenix
邢为栋
12-02 4186
Phoenix JDBC Driver有两种，分别是 Thick Driver。直接连接zookeeper和hbase。 Thin Driver。构建在http服务之上的jdbc驱动。 本文描述Thick Driver的使用方法。包含连接启用Kerberos的安全集群。 连接说明 根据Phoenix官网描述，使用Phoenix JDBC连接HBase集群的方法如下： Connection conn = DriverManager.getConnection("jdbc:phoenix:serve
phoenix java_JDBC phoenix
weixin_35665584的博客
03-02 221
1 /*2 * To change this license header, choose License Headers in Project Properties.3 * To change this template file, choose Tools | Templates4 * and open the template in the editor.5 */6 packagecom....
Java 使用胖客户端连接Phoenix
硅谷工具人
06-05 735
#1. 拷贝hbase的配置文件到resources目录 3. jdbc方式连接代码 4.执行测试结果
java 批量 phoenix_phoenix java API
weixin_27645199的博客
03-02 365
package cn.bsoft.phoenix;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;imp...
java连接phoenix需要导入的依赖
03-11
您好，对于这个问题，您需要在 Maven 项目中添加以下依赖： ``` <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.15.0-HBase-2.0</version> </dependency> ``` 这样就可以在 Java 中连接 Phoenix 数据库了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值