spark接hbase遇到版本兼容的问题

最新推荐文章于 2022-05-31 23:25:02 发布
VIP文章 最新推荐文章于 2022-05-31 23:25:02 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rosen_luo/article/details/46832505
版权

spark集群spark-submit提交后运行HbaseTest设置zookeeper参数：

conf.set("hbase.zookeeper.property.clientPort", "2181")
conf.set("hbase.zookeeper.quorum", "ip1，ip2")


运行时报错： 

Caused by: java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:897)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildGetRowOrBeforeRequest(RequestConverter.java:131)
        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRowOrBefore(ProtobufUtil.java:1402)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:701)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:699)
        at org.apache.hadoo
最低0.47元/天 解锁文章
Rosen_Luo
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark和hbase集成遇到的一些问题
things_use的博客
10-18 994
1.Spark计算都转移到了一个节点上，即只有一个节点在计算。      搭建好的spark集群，进行计算的时候发现，所有的slave节点上的task生成后，快速退出，并且生成好多task。查看spark ui上发现，只有主节点上有正常task运行，其他的slave节点都没有分到相应的task。如下所示： 主要是找到错误日志，主节点上的work目录下没有错误输出，然后找到slave节点下的wo...
Scala Spark 连接 HBase （ IDEA） 调试Spark Standalone
power0405hf的专栏
11-29 7801
0.下载安装IDEAIDEA主页1.安装Scala插件2.新建工程 打开新工程后，在src文件夹下新建一个文件夹，名为qyTest2，在里面新建一个scala class，把class的类型改为object。 3.设置Project Structure打开File-》Project Structure -》Libraries 加入新的lib（new project lib->java）,选择S
hbase 和spark 的依赖冲突
weixin_45118947的博客
08-13 329
导包出现冲突hbase 和spark 的依赖冲突 hbase 和spark 的依赖冲突 出现情况： hbase里面的依赖和spark-sql里面的依赖相同但是两个版本号不相同，此时会出现依赖冲突 解决方式 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>
spark(2.1.0) 操作hbase(1.0.2)
weixin_34194379的博客
11-18 138
一、写操作 1、spark中引入外部jar包 　　1）创建/usr/software/spark_jars目录，把hbase里的lib里的以下七个jar放入/usr/software/spark_jars里： 　　　　guava-12.0.1.jar 　　　　hbase-common-1.0.2.jar 　　　　hbase-protocol-1.0.2.jar 　　　　htrace-c...
spark-3.1.2兼容多版本hive
w757227129的博客
05-31 1371
spark 3.1.2版本对多版本hive的兼容处理
hadoop hbase hive spark对应版本
热门推荐
数据之美的博客
01-07 1万+
hbase和hive之间版本对应关系 图片来源参考官网： http://hbase.apache.org/book.html#hadoop hive和hadoop、hive和spark之间版本对应关系 版本信息来自于hive源码包的pom.xml： hive-3.1.2 <hadoop.version>3.1.0</hadoop.version> <hbase.ve...
spark读取hbase数据，并使用spark sql保存到mysql
09-24
使用spark读取hbase中的数据，并插入到mysql中
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
hbase-rdd：Spark RDD从HBase读取，写入和删除
SparkOnHBase:SparkOnHBase
05-17
:warning: Cloudera Labs中的Spark On HBase项目在2015年被合并到上游HBase项目中，并且自CDH 5.7起CDH附带了Backport SparkOnHBase 概述 这是一个用于Spark的HBase的简单可重用库 功能性 当前功能支持以下功能 批量...
Spark以及hbase学习资料
11-19
Spark以及hbase学习资料、pdf格式
Spark 读写Hbase
03-24 3930
启动 zookeeper----》hadoop----》hbase 创建hbase表student create 'student' ，'info' 添加数据 put 'student' ，'1' ，'info:name','James' put 'student' ，'1' ，'info:age','23' put 'student' ，'1' ，'info:gender','F' put 'student' ，'2' ，'info:name','Smith' put 'studen
spark入hbase版本问题（未解决）
chbxw
03-23 1099
集群 spark-2.3.2, hbase-2.0.2 Exception in thread "main" java.lang.NullPointerException at org.apache.hadoop.hbase.security.UserProvider.instantiate(UserProvider.java:122) at org.apache.hadoop.hbase.c...
Spark+hbase环境搭建
梦翼-的博客
06-24 8622
一、环境 Spark: 2.1.0 Hadoop: 2.6.0 Hbase: 1.2.6 开发环境：Android Studio   二、hbase简介 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File Syste
hbase 客户端_HBase 版本号和兼容性
weixin_39959298的博客
12-01 1669
HBase 有两种版本控制方案，分别是：pre-1.0 和 post-1.0。在本节内容中将作出详细的说明。 HBase post-1.0从 1.0.0 版本开始，HBase 正在致力于 Semantic Versioning 的发布版本。综上所述： 对于给定的版本号 MAJOR.MINOR.PATCH，增加如下内容：MAJOR 版本，当你进行不兼容的 API 更改时MINOR 版本，当您以向后兼...
spark安装时的版本兼容问题
qq_43447401的博客
04-22 1069
spark安装时的版本兼容问题 之前在安装hbase时，被版本兼容问题坑了很长时间，所以在这次spark的安装时谨慎了些。 先去官网，查看不同版本关于JDK、Hadoop的兼容性，找不同版本spark的源码，如下图： 下载源码，解压缩，找到文件夹中pom.xml文件，查看里面的配置。 在 properties 里面可以查看到JDK、Hadoop的相关版本要求。 ...
HADOOP、HBASE版本匹配问题
我的技术学习库
09-05 5064
在实际搭建过程中，使用过很多个不同的版本。各版本之间的兼容性最初并未纳入考虑范围。直到遇到一些莫名其妙的问题。 现将相关软件版本要求摘录如下，供参考。 一、HBASE各版本与JAVA和版本匹配情况 HBase Version JDK 7 JDK 8 JDK 9 JDK 10 2.0 Not Supported y...
spark读取HBase数据的一次坑爹经历
sgyuanshi的博客
09-29 1335
首先，在这里说明一下，我遇到的错误如下： org.apache.hadoop.hbase.DoNotRetryIOException： /192.168.x.x:16020 is unable to read call parameter from client 10.47.x.x 然后， spark读取HBase ...
Spark和Hbase环境变量冲突解决办法
xiaosongwahaha的博客
12-17 456
1、在苏宁的Hbase访问中需要设置环境变量，因此在Hbase初始化的时候要写上：         //初始化Hbase环境变量 static{ System.setProperty("HADOOP_USER_NAME", "sousuo"); } 2、用Spark在本地计算时需要设置：     SparkConf sparkConf=new SparkCo
Spark 项目导入Hbase依赖后，查看spark监控页面报错。WARN HttpChannel: / javax.servlet.http.HttpServletRequest.isAsync
qq_39261894的博客
05-10 282
错误如下： 当我们导入Hbase依赖后，再次打开localhost:4040页面时，控制台打印信息如下： 错误原因： 一般由 jetty servlet版本冲突 跟HttpServlet包中的servlet版本冲突 解决方案： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</art
spark连接hbase读写数据
最新发布
03-23
可以使用 Spark 的 HBase Connector 来连接 HBase 并进行数据读写操作。以下是一个示例代码： ```scala import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory, Put} import org.apache.hadoop.hbase.spark.HBaseContext import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession val sparkConf = new SparkConf().setAppName("Spark-HBase Connector Example") val spark = SparkSession.builder().config(sparkConf).getOrCreate() val hbaseConf = HBaseConfiguration.create() hbaseConf.set("hbase.zookeeper.quorum", "localhost") hbaseConf.set("hbase.zookeeper.property.clientPort", "2181") val hbaseContext = new HBaseContext(spark.sparkContext, hbaseConf) val tableName = "test_table" val columnFamily = "cf" val rowKey = "row1" val column = "col1" val value = "value1" val rdd = spark.sparkContext.parallelize(Seq((rowKey, column, value))) val putRdd = rdd.map { case (row, col, value) => val put = new Put(row.getBytes()) put.addColumn(columnFamily.getBytes(), col.getBytes(), value.getBytes()) (new org.apache.hadoop.hbase.client.TableIdentifier(tableName), put) } hbaseContext.bulkPut(putRdd) ``` 这段代码演示了如何使用 Spark 的 HBase Connector 将数据写入 HBase。首先，我们需要创建一个 HBaseContext 对象，然后使用 bulkPut 方法将数据写入 HBase。在这个例子中，我们将一行数据写入了名为 test_table 的表中，行键为 row1，列族为 cf，列为 col1，值为 value1。 注意：在实际使用中，需要根据实际情况修改 HBase 的配置和表名、列族、列等信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值