Java连接phoenix问题记录

最新推荐文章于 2022-10-06 19:45:33 发布
最新推荐文章于 2022-10-06 19:45:33 发布
阅读量2k 收藏 4
点赞数 2
分类专栏： java 文章标签： java hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49945160/article/details/120222137
版权

文章目录

phoenix简介

phoenix

  • 原生的HBaseAPI使用起来比较麻烦。Apache推出的Phoenix提供了jdbc接口对HBase表进行操作。

pom依赖

 <dependency>
     <groupId>org.apache.phoenix</groupId>
     <artifactId>phoenix-core</artifactId>
     <version>5.0.0-HBase-2.0</version>
 </dependency>

jdbc连接无kerberos认证

  • 实例代码
    public static void main(String[] args) throws SQLException, IOException {
		Connection conn = null;
		try {
			Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
			//host和port为zookeeper的主机配置
			String url = "jdbc:phoenix:slave6:2181";
			conn = DriverManager.getConnection(url);
			System.out.println(conn);
			Statement stmt = conn.createStatement();
			ResultSet rs = stmt.executeQuery("select * from \"test\".\"student\"");
			while (rs.next()) {
				System.out.print("id:" + rs.getString("ID"));
				System.out.println(",name:" + rs.getString("NAME"));
			}
		} catch (ClassNotFoundException | SQLException e) {
			e.printStackTrace();
		} finally {
			if (conn != null) {
				System.out.println("连接通道关闭");
				conn.close();
			}
		}
	}

jdbc连接有kerberos认证的集群

这种方式配置比较繁琐，bug也比较多，说句题外话，Kerberos真烦

准备测试数据

  • phoenix命令行并插入测试数据
    Setting property: [incremental, false]
Setting property: [isolation, TRANSACTION_READ_COMMITTED]
issuing: !connect jdbc:phoenix:thin:url=http://slave6:8765;serialization=PROTOBUF;authentication=SPNEGO none none org.apache.phoenix.queryserver.client.Driver
Connecting to jdbc:phoenix:thin:url=http://slave6:8765;serialization=PROTOBUF;authentication=SPNEGO
Connected to: Apache Phoenix (version unknown version)
Driver: Phoenix Remote JDBC Driver (version unknown version)
Autocommit status: true
Transaction isolation: TRANSACTION_READ_COMMITTED
Building list of tables and columns for tab-completion (set fastconnect to true to skip)...
141/141 (100%) Done
Done
sqlline version 1.2.0
0: jdbc:phoenix:thin:url=http://slave6:8765> select * from "test"."student";
+-------+-------+------+-------------+
|  ID   | NAME  | AGE  |    DATE     |
+-------+-------+------+-------------+
| 1001  | 张三    | 21   | 2020-09-18  |
| 1002  | 李四    | 22   | 2020-09-18  |
| 1003  | 王五    | 28   | 2021-06-01  |
| 1004  | 赵六    | 31   | 2020-10-07  |
  • 实例代码
    public static void main(String[] args) throws SQLException, IOException {
		Connection conn = null;
		// 连接hadoop环境，进行 Kerberos认证
		Configuration conf = null;
		try {
			//使用原生hadoop的kerberos认证
			conf = HBaseConfiguration.create();
			conf.set("hbase.zookeeper.quorum", "slave2");
			conf.set("hbase.zookeeper.property.clientPort", "2181");
			conf.set("hadoop.security.authentication", "Kerberos");
			conf.set("hbase.security.authentication", "kerberos");
			UserGroupInformation.setConfiguration(conf);
			String user = "cs";
			String keyPath = "C:\\Users\\hu'shao'nan\\Desktop\\kerberosfiles\\cs.keytab";
			UserGroupInformation.loginUserFromKeytab(user, keyPath);
			Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
			String url = "jdbc:phoenix:slave6:2181";
			conn = DriverManager.getConnection(url);
			System.out.println(conn);
			Statement stmt = conn.createStatement();
			ResultSet rs = stmt.executeQuery("select * from \"test\".\"student\"");
			while (rs.next()) {
				System.out.print("id:" + rs.getString("ID"));
				System.out.println(",name:" + rs.getString("NAME"));
			}
		} catch (ClassNotFoundException | SQLException e) {
			e.printStackTrace();
		} finally {
			if (conn != null) {
				System.out.println("连接通道关闭");
				conn.close();
			}
		}
	}

连接异常1

  • 报错信息

    Caused by: java.lang.IllegalArgumentException: Can't get Kerberos realm
	at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(HadoopKerberosName.java:65)
	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:275)
	at org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:311)
	at com.alibaba.datax.plugin.reader.hdfsreader.DFSUtil.kerberosAuthentication(DFSUtil.java:88)
	at com.alibaba.datax.plugin.reader.hdfsreader.DFSUtil.<init>(DFSUtil.java:81)
	at com.alibaba.datax.plugin.reader.hdfsreader.HdfsReader$Job.init(HdfsReader.java:51)
	at com.alibaba.datax.core.job.JobContainer.initJobReader(JobContainer.java:673)
	at com.alibaba.datax.core.job.JobContainer.init(JobContainer.java:303)
	at com.alibaba.datax.core.job.JobContainer.start(JobContainer.java:113)

  • 原因：认证需要的krb5.conf文件未找到

  • 解决：将krb5.conf的文件路径配置为环境变量

    			System.setProperty("java.security.krb5.conf","C:\\Users\\admin\\Desktop\\kerberosfiles\\krb5.conf");
			System.setProperty("javax.security.auth.useSubjectCredsOnly", "false");

连接异常2

  • 报错信息

    Kerberos principal does not have the expected format: cs@EXAMPLE.COM

  • 原因:调用服务时的Kerberos凭证异常，此凭证在hbase或hive的配置文件里指定，不同于用户认证的kerberos凭证

    <property>
	<name>hbase.master.kerberos.principal</name>
	<value>hbase/_HOST@EXAMPLE.COM</value>
  </property>
  <property>
	<name>hbase.regionserver.kerberos.principal</name>
	<value>hbase/_HOST@EXAMPLE.COM</value>
  </property>

  • 解决：
    1.将对应的配置文件，如连接hbase的hbase-site.xml放在资源根目录下，java会自动读取相关配置
    2.将对应参数配置到代码中

    //前面代码同上
Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
			String url = "jdbc:phoenix:slave6:2181";
			Properties properties = new Properties();
			// 配置hbase服务的kerberos凭证信息
			properties.setProperty("hbase.master.kerberos.principal", "hbase/_HOST@EXAMPLE.COM");
			properties.setProperty("hbase.regionserver.kerberos.principal", "hbase/_HOST@EXAMPLE.COM");
			// 配置phoenix服务的kerberos凭证信息
		   properties.setProperty("phoenix.queryserver.kerberos.principal", "phoenix/slave6@EXAMPLE.COM");
			conn = DriverManager.getConnection(url, properties);

连接异常3

  • 报错信息

    Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found 
but client does not have phoenix.schema.isNamespaceMappingEnabled enabled

  • 原因:Hbase服务端或客户端的Hbase-site.xml文件中没有添加相关配置

  • 解决

    1. 集群上：cloudera manager服务端或者客户端添加配置
      集群参数配置
  1. 本地测试，在项目根目录下配置Hbase-site.xml，配置内容添加如下：
    <property>
  <name>phoenix.schema.isNamespaceMappingEnabled</name>
  <value>true</value>
  <description>命名空间开启</description>
</property>

<property>
  <name>hbase.regionserver.wal.codec</name>
  <value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
  <description>二级索引支持</description>
</property>

连接异常4

  • 报错信息

    java.sql.SQLException: java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDataCoprocessorExec(ConnectionQueryServicesImpl.java:1390)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.metaDataCoprocessorExec(ConnectionQueryServicesImpl.java:1351)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.createTable(ConnectionQueryServicesImpl.java:1538)
	at org.apache.phoenix.schema.MetaDataClient.createTableInternal(MetaDataClient.java:2721)
	at org.apache.phoenix.schema.MetaDataClient.createTable(MetaDataClient.java:1114)
	at org.apache.phoenix.compile.CreateTableCompiler$1.execute(CreateTableCompiler.java:192)
	at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:408)
	at org.apache.phoenix.jdbc.PhoenixStatement$2.call(PhoenixStatement.java:391)
	at org.apache.phoenix.call.CallRunner.run(CallRunner.java:53)
	at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:390)
	at org.apache.phoenix.jdbc.PhoenixStatement.executeMutation(PhoenixStatement.java:378)
	at org.apache.phoenix.jdbc.PhoenixStatement.executeUpdate(PhoenixStatement.java:1806)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl$12.call(ConnectionQueryServicesImpl.java:2569)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl$12.call(ConnectionQueryServicesImpl.java:2532)
	at org.apache.phoenix.util.PhoenixContextExecutor.call(PhoenixContextExecutor.java:76)
	at org.apache.phoenix.query.ConnectionQueryServicesImpl.init(ConnectionQueryServicesImpl.java:2532)
	at org.apache.phoenix.jdbc.PhoenixDriver.getConnectionQueryServices(PhoenixDriver.java:255)
	at org.apache.phoenix.jdbc.PhoenixEmbeddedDriver.createConnection(PhoenixEmbeddedDriver.java:150)
	at org.apache.phoenix.jdbc.PhoenixDriver.connect(PhoenixDriver.java:221)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:208)
	at hbase.Phoenix_Connection.main(Phoenix_Connection.java:49)
Caused by: java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString

  • 原因：Protobuf（全称 Protocol Buffers）是 Google 开发的一种数据描述语言，能够将结构化数据序列化，可用于数据存储、通信协议等方面。在 HBase 里面用使用了 Protobuf 的类库。

  • 解决：

    1. 在pom文件里添加对应依赖
      <dependency>
     <groupId>com.google.protobuf</groupId>
     <artifactId>protobuf-java</artifactId>
     <version>3.6.1</version>
</dependency>
<!-- 如果仍未解决，降低版本-->
<dependency>
     <groupId>com.google.protobuf</groupId>
     <artifactId>protobuf-java</artifactId>
     <version>2.5.0</version>
</dependency>
    2. 更换hbase客户端依赖，hbase-shaded-client是社区里有人将HBase里面比较常见的依赖进行了重命名，在pom文件中我们可以将引入的hbase-client替换成hbase-shaded-client（未尝试，我使用第一张方式已经解决）
      <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-shaded-client</artifactId>
        <version>2.0.0</version>
</dependency>

连接成功

```java
org.apache.phoenix.jdbc.PhoenixConnection@6999cd39
id:1001,name:张三
id:1002,name:李四
id:1003,name:王五
id:1004,name:赵六
连接通道关闭

Process finished with exit code 0
```
大大大古月
关注
专栏目录
【异常】使用Phoenix api操作Hbase 报错ClassNotFoundException: org.apache.phoenix.jdbc.PhoenixDriver
本本本添哥
05-09 612
想要实现基于Springboot+Phoenix+Mybatis来调用Hbase的数据，我得到了如下的异常。
phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180
最新发布
添柴程序猿的专栏
05-08 369
删除以后刷新可以看到没有了,然后再去关闭,hbase,关闭hadoop,然后关闭zk,然后再去重新启动,然后再去试试可以了不..好像知道怎么回事了,我用nifi,连接hbase,死活连不上,网上说,让加上 /hbase-unsecure之类的。今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上。好吧 ,还是在界面上删除吧,来这里,把那个hbase文件夹删,点击右边删除按钮就可以了.然后。先启动zk,然后再去启动hadoop,然后再去启动hbase。
java连接phoenix
weixin_40875934的博客
12-06 4729
1、在pom文件中加入jar包 · org.apache.phoenix phoenix-core 4.14.0-HBase-1.2 2、写一个测试，检验是否可以建立连接 ·public static void main(String[] args) { Properties props = new Properties(); props.setProperty(“phoenix.query.t...
Phoenix（6）：JAVA api 连接phoenix
小蚯蚓的博客
12-03 2888
1.功能作用 使用java 代码，连接phoenix，从而实现hbase数据库的增删改查。 2.配置 （1）添加mysql的maven仓库 &lt;!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --&gt; &lt;dependency&gt; &lt;groupId&gt;mysql&lt;/gro...
API连接phoenix报错:java.sql.SQLException: ERROR 726 (43M10): Inconsistent namespace mapping properties
xxxxiju的博客
10-06 820
连接phoenix时配置环境参数完全没问题的情况下出现的连接不上
Phoenix连接java
weixin_37796929的博客
06-18 519
<dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.7.0-HBase-1.1</vers...
phoenix hbase java_Phoenix(SQL On HBase)
weixin_39576294的博客
02-19 285
1.简介Phoenix是一个HBase框架，可以通过SQL的方式来操作HBase。Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。*如果需要对HBase进行复杂的操作，...
hadoop组件---面向列的开源数据库(八)--java使用phoenix查询hbase
直到世界的尽头
01-08 1409
我们在上篇文章中已经学习了 如果使用phoenix的shell命令行工具进行 增删改查，同时明确了 phoenix要查询hbase原生建立的表 需要创建映射表或者 映射视图。 hadoop组件—面向列的开源数据库(七)–phoenix查询hbase–映射和常用命令 本篇 记录 使用 java使用phoenix进行 增删改查。 java 使用Phoenix 加载jar包项目中 加载jar包方式一 ...
hikariCP+Phoenix.rar
09-02
在SpringBoot的环境中，MyBatis作为持久层框架，负责处理ORM（对象关系映射），将Java对象与数据库表中的记录进行绑定。MyBatis的动态SQL功能和灵活的数据映射机制使得开发人员可以方便地进行数据库操作。 整合...
使用线程池控制Phoenix连接超时
匿名
12-11 3145
HBase – Hadoop Database，一个NoSQL数据库，可存储大量非关系型数据，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC API而不是HBase客户端API来对HBase数据进行操作。 HBase，可以用shell进行操作，也可以用Java api进行操作。HB
phoenix:Java Web框架
05-16
框架介绍 新一代Java开发框架，命名Phoenix，中文翻译为凤凰，火鸟。西方传说中可以浴火重生，这里使用寓意新生，重生的二代框架 总结了老框架被使用过程中遇见的各种问题，基于我们公司成员技术水平和项目特点，完全重新开发了一套 框架建立在spring boot，spring data jpa，quartz 的基础上，技术基础比较通用简单，方便大家学习和扩展 主要功能 框架自带基于角色和状态自动机型的权限控制体系 框架自带所有数据库实体对象的json映射和筛选方法，不需要写列表和详细页的后台接口，输出时不会引起递归的栈溢出 框架自带完整的增删改的功能，不需要写接口，但需要设置权限 框架自带统一的文件上传和图像处理接口，文件存储在aliyun的oss上 框架自带完整的审计功能，可以查看历史的修改记录，包括改动的细节部分 框架自带完整的群组管理体系，可在不同的维度对数据资源进行管理，监督和反馈
java-hbase-phoenix:通过Phoenix访问HBase
05-18
通过Phoenix和Java访问HBase 该存储库是有关如何通过Phoenix和Java访问HBase并执行CRUD操作的简单示例。 由于我在HBase的设置上使用伪分布式模式，因此需要hadoop和zookeeper。 如果您的HBase设置是独立的，则不需要安装和设置该堆栈 先决条件 1. 2. 3. 4. 5. 6. 运行项目的步骤 伪分布式模式 1. /hadoop-3.1.0/sbin/start-dfs.sh 2. /hadoop-3.1.0/sbin/start-yarn.sh 3. /zookeeper-3.4.12/bin/zkServer.sh启动 4. /hbase-2.0.0/bin/start-hbase.sh 5. /phoenix-5.0.0-alpha-hbase-2.0-bin/bin/queryserver.py sta
phoenix-core-4.7.0-HBase-1.1-API文档-中文版.zip
05-02
赠送jar包：phoenix-core-4.7.0-HBase-1.1.jar； 赠送原API文档：phoenix-core-4.7.0-HBase-1.1-javadoc.jar； 赠送源代码：phoenix-core-4.7.0-HBase-1.1-sources.jar； 赠送Maven依赖信息文件：phoenix-core-4.7.0-HBase-1.1.pom； 包含翻译后的API文档：phoenix-core-4.7.0-HBase-1.1-javadoc-API文档-中文(简体)版.zip； Maven坐标：org.apache.phoenix:phoenix-core:4.7.0-HBase-1.1； 标签：core、phoenix、apache、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档内容。 人性化翻译，文档中的代码和结构保持不变，注释和说明精准翻译，请放心使用。
HBase 6、用Phoenix Java api操作HBase
03-11 201
开发环境准备：eclipse3.5、jdk1.7、window8、hadoop2.2.0、hbase0.98.0.2、phoenix4.3.0 　　1、从集群拷贝以下文件：core-site.xml、hbase-site.xml、hdfs-site.xml文件放到工程src下 　　2、把phoenix的phoenix-4.3.0-client.jar和phoenix-core-4.3...
java phoenix,Java访问Phoenix连接
weixin_39935903的博客
03-19 351
两种方法，一种是直接使用jdbc连接，一种是使用spring连接。jdbc连接和访问oracle步骤相同：///////////// 测试Phoenix连接 ///////////////String testSQL = "select \"1\",\"2\" from fengji where rowid like ‘1-20170413%‘";try {Class.forName("org....
Java连接Phoenix
邢为栋
12-02 4078
Phoenix JDBC Driver有两种，分别是 Thick Driver。直接连接zookeeper和hbase。 Thin Driver。构建在http服务之上的jdbc驱动。 本文描述Thick Driver的使用方法。包含连接启用Kerberos的安全集群。 连接说明 根据Phoenix官网描述，使用Phoenix JDBC连接HBase集群的方法如下： Connection conn = DriverManager.getConnection("jdbc:phoenix:serve
phoenix java_JDBC phoenix
weixin_35665584的博客
03-02 210
1 /*2 * To change this license header, choose License Headers in Project Properties.3 * To change this template file, choose Tools | Templates4 * and open the template in the editor.5 */6 packagecom....
Java 使用胖客户端连接Phoenix
硅谷工具人
06-05 713
#1. 拷贝hbase的配置文件到resources目录 3. jdbc方式连接代码 4.执行测试结果
java 批量 phoenix_phoenix java API
weixin_27645199的博客
03-02 348
package cn.bsoft.phoenix;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;imp...
java连接phoenix需要导入的依赖
03-11
您好，对于这个问题，您需要在 Maven 项目中添加以下依赖： ``` <groupId>org.apache.phoenix <artifactId>phoenix-core <version>4.15.0-HBase-2.0 ...这样就可以在 Java 中连接 Phoenix 数据库了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值