关闭

spark接hbase遇到版本兼容的问题

1220人阅读 评论(0) 收藏 举报
分类:

spark集群spark-submit提交后运行HbaseTest设置zookeeper参数:

conf.set("hbase.zookeeper.property.clientPort", "2181")
conf.set("hbase.zookeeper.quorum", "ip1,ip2")


运行时报错:

Caused by: java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildRegionSpecifier(RequestConverter.java:897)
        at org.apache.hadoop.hbase.protobuf.RequestConverter.buildGetRowOrBeforeRequest(RequestConverter.java:131)
        at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRowOrBefore(ProtobufUtil.java:1402)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:701)
        at org.apache.hadoop.hbase.client.HTable$2.call(HTable.java:699)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:120)

网上搜了一下看到如下:


试了很多方法 ,还是报错,最后想到因为是0.96的bug,干脆依赖的jar全部换掉,都换成0.98的,如下:


以上是依赖的所有jar,有需要的同学可以参考,我的hbase的版本是0.98.13

换了jar之后编译,放到spark上跑,成功取到表里的数据。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:53651次
    • 积分:1156
    • 等级:
    • 排名:千里之外
    • 原创:64篇
    • 转载:7篇
    • 译文:0篇
    • 评论:3条
    文章分类
    最新评论