spark接hbase遇到版本兼容的问题

原创 2015年07月10日 16:34:29

spark集群spark-submit提交后运行HbaseTest设置zookeeper参数:

conf.set("hbase.zookeeper.property.clientPort", "2181")
conf.set("hbase.zookeeper.quorum", "ip1,ip2")


运行时报错:

Caused by: java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:897)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildGetRowOrBeforeRequest(RequestConverter.java:131)
        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRowOrBefore(ProtobufUtil.java:1402)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:701)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:699)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:120)

网上搜了一下看到如下:


试了很多方法 ,还是报错,最后想到因为是0.96的bug,干脆依赖的jar全部换掉,都换成0.98的,如下:


以上是依赖的所有jar,有需要的同学可以参考,我的hbase的版本是0.98.13

换了jar之后编译,放到spark上跑,成功取到表里的数据。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Spark读取Hbase中的数据

原文地址:http://www.iteblog.com/archives/1051 大家可能都知道很熟悉Spark的两种常见的数据读取方式(存放到RDD中):(1)、调用paralleliz...

spark将数据写入hbase以及从hbase读取数据

 本文将介绍 1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase 2、spark从hbase中读取数据并转...

hadoop,hbase,hive,zookeeper版本整合兼容性问题总结

当我们想整合hadoop,hbase,hive,zookeeper的时候,如果刚入门,可能认为这是比较简单的问题。但是当你自己真正想整合的时候,却会遇到很多的问题。 1.hadoop与hbase哪些...

hadoop,hbase,hive,zookeeper版本整合兼容性问题总结

当我们想整合Hadoop,Hbase,Hive,zookeeper的时候,如果刚入门,可能认为这是比较简单的问题。但是当你自己真正想整合的时候,却会遇到很多的问题。 1.hadoop与hbase哪些版...

大数据集群遇到的问题(Hadoop、Spark、Hive、kafka、Hbase、Phoenix)

大数据平台中遇到的实际问题,整理了一下,使用CDH5.8版本,包括Hadoop、Spark、Hive、kafka、Hbase、Phoenix、Impala、Sqoop、CDH等问题,初步整理下最近遇到...

解决学习tensorflow的LSTM模型中遇到一个版本不兼容问题

ValueError: Attempt to have a second RNNCell use the weights of a variable scope that already has we...

Kafka和Spark Streaming Java版本集成并将数据实时写入HBase

Kafka和Spark Streaming Java版本集成并将数据实时写入HBase mvn配置pom.xml <project xmlns="http://maven.apache.org/P...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)