spark接hbase遇到版本兼容的问题

最新推荐文章于 2022-05-31 23:25:02 发布
最新推荐文章于 2022-05-31 23:25:02 发布
阅读量3.2k 收藏 1
点赞数
分类专栏： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rosen_Luo/article/details/46832505
版权
在Spark集群中提交HbaseTest时遇到版本不兼容问题，尝试多种解决办法无效。由于问题根源在于Hbase的0.96版本bug，解决方案是将所有相关依赖的jar替换为0.98版本。更换jar后，成功从Hbase表中获取数据。
摘要由CSDN通过智能技术生成

spark集群spark-submit提交后运行HbaseTest设置zookeeper参数：

conf.set("hbase.zookeeper.property.clientPort", "2181")
conf.set("hbase.zookeeper.quorum", "ip1，ip2")


运行时报错： 

Caused by: java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:897)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildGetRowOrBeforeRequest(RequestConverter.java:131)
        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRowOrBefore(ProtobufUtil.java:1402)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:701)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:699)
        at org.apache.hadoo
最低0.47元/天 解锁文章
Rosen_Luo
关注
专栏目录
Scala Spark 连接 HBase （ IDEA） 调试Spark Standalone
power0405hf的专栏
11-29 7825
0.下载安装IDEAIDEA主页1.安装Scala插件2.新建工程 打开新工程后，在src文件夹下新建一个文件夹，名为qyTest2，在里面新建一个scala class，把class的类型改为object。 3.设置Project Structure打开File-》Project Structure -》Libraries 加入新的lib（new project lib->java）,选择S
hbase 和spark 的依赖冲突
weixin_45118947的博客
08-13 375
导包出现冲突hbase 和spark 的依赖冲突 hbase 和spark 的依赖冲突 出现情况： hbase里面的依赖和spark-sql里面的依赖相同但是两个版本号不相同，此时会出现依赖冲突 解决方式 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>
spark入hbase版本问题（未解决）
chbxw
03-23 1116
集群 spark-2.3.2, hbase-2.0.2 Exception in thread "main" java.lang.NullPointerException at org.apache.hadoop.hbase.security.UserProvider.instantiate(UserProvider.java:122) at org.apache.hadoop.hbase.c...
hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】
07-16
hadoop,hbase,hive版本整合兼容性最全，最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
Hadoop与HBase兼容版本汇总
weixin_30764883的博客
08-17 236
Hbase的安装需要考虑Hadoop的版本，即兼容性。有不足的希望能指出。以下考究官网得到的，关于hadoop版本和hbase版本可到以下网址中下载：http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96.xHBase-0.98.xHadoop-1.0.0-1.0.2SSXSHadoop-1.0.3+S...
Spark和hbase集成遇到的一些问题
things_use的博客
10-18 1030
1.Spark计算都转移到了一个节点上，即只有一个节点在计算。      搭建好的spark集群，进行计算的时候发现，所有的slave节点上的task生成后，快速退出，并且生成好多task。查看spark ui上发现，只有主节点上有正常task运行，其他的slave节点都没有分到相应的task。如下所示： 主要是找到错误日志，主节点上的work目录下没有错误输出，然后找到slave节点下的wo...
Apache Hive编程指南（Hive和HBase不兼容问题）
麦田里的守望者-蒋中洲【相信相信的力量】
07-23 618
背景 首先，我们在下载官方的hive的发行版，很可能会出现发行版中预编译的hive与我们目标平台的其他组件出现不兼容，例如小编就会经常遇到hive在读取hbase的时候出现这样或者那样的问题，当然也有很多处理和解决的办法，例如通过各种论坛和帖子找需要替换jar包，然后进行替换即可，这种做法虽然最终也能解决但是太费神了，因此小编痛定思痛，觉得直接对hive的源码包进行更改，然后自己编译hive的安装包，这也是决绝版本冲突最直接有效的办法。 编译步骤 下载hive的对用版本的源码包apache-hive-1.2
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
安装Spark时，需要与Hadoop版本兼容，并配置相关环境变量。 Hive是基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。通过Hive，用户无需编写Java MapReduce程序，就能对...
Mac版hadoop,Spark,Hbase的伪分布式的安装(全网最全)
weixin_41884148的博客
06-14 672
注意： 如果你利用Mac从事开发工作，请务必去了解下Homebrew，他会给你带来很大的便利，下文会细说 但是新版的Homebrew有个大问题，他在帮你装软件时会安装最新版，并且大部分软件不支持版本选择，所以要有取舍 Hadoop3.X和Hadoop2.X有较多不同，所以选择目前的额主流Hadoop2.X，大数据分布式搭建尤其 注意版本兼容问题 在搭建前要先了解Hadoop和Spark的相关基础知识，*** Hbase如果你不需要的话可以不用安装** -如果你觉得网页麻烦，想要良好的阅读体验这有PD..
scala API 操作hbase表
01-11
最近看了hbase的源码根据源码写了一些scala调动hbase表的API，话不多说直接上代码！Hadoop的版本是2.7.3，scala版本是2.1.1，hbase的版本是1.1.2 如果版本不同可以修改pom的依赖项，但要注意版本冲突。 并且在scala，maven项目中，还有创建一个resources包（这个网上多的是）主要是放core-site,xml和hdfs-site.xml以及hbase-site.xml
Spark 项目导入Hbase依赖后，查看spark监控页面报错。WARN HttpChannel: / javax.servlet.http.HttpServletRequest.isAsync
qq_39261894的博客
05-10 303
错误如下： 当我们导入Hbase依赖后，再次打开localhost:4040页面时，控制台打印信息如下： 错误原因： 一般由 jetty servlet版本冲突 跟HttpServlet包中的servlet版本冲突 解决方案： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</art
spark(2.1.0) 操作hbase(1.0.2)
weixin_34194379的博客
11-18 143
一、写操作 1、spark中引入外部jar包 　　1）创建/usr/software/spark_jars目录，把hbase里的lib里的以下七个jar放入/usr/software/spark_jars里： 　　　　guava-12.0.1.jar 　　　　hbase-common-1.0.2.jar 　　　　hbase-protocol-1.0.2.jar 　　　　htrace-c...
spark-3.1.2兼容多版本hive
w757227129的博客
05-31 1460
spark 3.1.2版本对多版本hive的兼容处理
hadoop hbase hive spark对应版本
热门推荐
数据之美的博客
01-07 1万+
hbase和hive之间版本对应关系 图片来源参考官网： http://hbase.apache.org/book.html#hadoop hive和hadoop、hive和spark之间版本对应关系 版本信息来自于hive源码包的pom.xml： hive-3.1.2 <hadoop.version>3.1.0</hadoop.version> <hbase.ve...
Spark 读写Hbase
03-24 4038
启动 zookeeper----》hadoop----》hbase 创建hbase表student create 'student' ，'info' 添加数据 put 'student' ，'1' ，'info:name','James' put 'student' ，'1' ，'info:age','23' put 'student' ，'1' ，'info:gender','F' put 'student' ，'2' ，'info:name','Smith' put 'studen
spark安装时的版本兼容问题
qq_43447401的博客
04-22 1201
spark安装时的版本兼容问题 之前在安装hbase时，被版本兼容问题坑了很长时间，所以在这次spark的安装时谨慎了些。 先去官网，查看不同版本关于JDK、Hadoop的兼容性，找不同版本spark的源码，如下图： 下载源码，解压缩，找到文件夹中pom.xml文件，查看里面的配置。 在 properties 里面可以查看到JDK、Hadoop的相关版本要求。 ...
Spark+hbase环境搭建
梦翼-的博客
06-24 8652
一、环境 Spark: 2.1.0 Hadoop: 2.6.0 Hbase: 1.2.6 开发环境：Android Studio   二、hbase简介 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File Syste
hbase 客户端_HBase 版本号和兼容性
weixin_39959298的博客
12-01 1692
HBase 有两种版本控制方案，分别是：pre-1.0 和 post-1.0。在本节内容中将作出详细的说明。 HBase post-1.0从 1.0.0 版本开始，HBase 正在致力于 Semantic Versioning 的发布版本。综上所述： 对于给定的版本号 MAJOR.MINOR.PATCH，增加如下内容：MAJOR 版本，当你进行不兼容的 API 更改时MINOR 版本，当您以向后兼...
spark + Kafka+hbase
最新发布
07-27
回答: Spark、Kafka和HBase是一种常见的大数据处理架构组合。Spark是一个快速的、通用的集群计算系统，可以处理大规模数据并提供高效的数据处理能力。Kafka是一个分布式流处理平台，用于高吞吐量的实时数据流处理。HBase是一个分布式的、可扩展的NoSQL数据库，适用于存储大规模结构化数据。 在使用这个组合时，可能会遇到一些问题。例如，当遇到HBase的依赖冲突时，可以通过删除冲突的jar包来解决。具体的解决方案可以参考引用\[2\]中的示例。另外，有时在多次格式化HDFS的NameNode后可能会出现错误，如引用\[3\]所示。这种错误通常是由于集群ID不兼容导致的。解决这个问题的方法是确保所有节点的集群ID一致。 总之，Spark、Kafka和HBase的组合可以提供强大的大数据处理能力，但在使用过程中可能会遇到一些常见的问题，需要根据具体情况进行解决。 #### 引用[.reference_title] - *1* *2* *3* [hadoop+zookeeper+hbase+kafka+spark 大数据集群部署](https://blog.csdn.net/weixin_41506416/article/details/108870210)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值