spark接hbase遇到版本兼容的问题

原创 2015年07月10日 16:34:29

spark集群spark-submit提交后运行HbaseTest设置zookeeper参数:

conf.set("hbase.zookeeper.property.clientPort", "2181")
conf.set("hbase.zookeeper.quorum", "ip1,ip2")


运行时报错:

Caused by: java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:897)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildGetRowOrBeforeRequest(RequestConverter.java:131)
        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRowOrBefore(ProtobufUtil.java:1402)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:701)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:699)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:120)

网上搜了一下看到如下:


试了很多方法 ,还是报错,最后想到因为是0.96的bug,干脆依赖的jar全部换掉,都换成0.98的,如下:


以上是依赖的所有jar,有需要的同学可以参考,我的hbase的版本是0.98.13

换了jar之后编译,放到spark上跑,成功取到表里的数据。

版权声明:本文为博主原创文章,未经博主允许不得转载。

hadoop,hbase,hive,zookeeper版本整合兼容性问题总结

当我们想整合hadoop,hbase,hive,zookeeper的时候,如果刚入门,可能认为这是比较简单的问题。但是当你自己真正想整合的时候,却会遇到很多的问题。 1.hadoop与hbase哪些...

hadoop,hbase,hive,zookeeper版本整合兼容性问题总结

当我们想整合Hadoop,Hbase,Hive,zookeeper的时候,如果刚入门,可能认为这是比较简单的问题。但是当你自己真正想整合的时候,却会遇到很多的问题。 1.hadoop与hbase哪些版...

大数据集群遇到的问题(Hadoop、Spark、Hive、kafka、Hbase、Phoenix)

大数据平台中遇到的实际问题,整理了一下,使用CDH5.8版本,包括Hadoop、Spark、Hive、kafka、Hbase、Phoenix、Impala、Sqoop、CDH等问题,初步整理下最近遇到...

解决学习tensorflow的LSTM模型中遇到一个版本不兼容问题

ValueError: Attempt to have a second RNNCell use the weights of a variable scope that already has we...

Kafka和Spark Streaming Java版本集成并将数据实时写入HBase

Kafka和Spark Streaming Java版本集成并将数据实时写入HBase mvn配置pom.xml

如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】

问题导读 1.通过什么途径,可以查看与spark兼容的组件版本? 2.如何获取pom文件? 3.pom文件中包含了哪些信息? 4.spark编译通过什么参数可以指定hadoop版本? ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:spark接hbase遇到版本兼容的问题
举报原因:
原因补充:

(最多只允许输入30个字)