Scala Hbase 问题汇总 stack overflow

最新推荐文章于 2022-04-05 14:59:20 发布

power0405hf

最新推荐文章于 2022-04-05 14:59:20 发布

阅读量2.1k

点赞数

分类专栏： spark linux HBase 文章标签： hbase stack overflow scala

本文链接：https://blog.csdn.net/power0405hf/article/details/49906773

版权

本文汇总了Scala开发中与HBase相关的常见问题，包括在使用HBase API时遇到的编译错误，如何在Spark中读取HBase数据，以及Spark连接HBase的配置步骤。通过引入正确依赖、配置环境和理解类路径设置，可以解决这些问题。

摘要由CSDN通过智能技术生成

1.

object hbase is not a member of package org.apache.hadoop when compiling scala
在Scala工程中使用HBase API，import hbase时，

import org.apache.hadoop.hbase

出现编译错误

解决（大概，没有尝试）：
使用sbt构建工程时，添加依赖：
hbase-client,hbase-common,hbase-server然后sbt assembly

libraryDependencies ++=Seq(
    "org.apache.hbase" % "hbase-server" % "0.99.2",
    "org.apache.hbase" % "hbase-common" % "0.99.2"
    "org.apache.hbase" % "hbase-client" % "0.99.2"

2.

Spark读取Hbase中的数据
加入如下依赖：

libraryDependencies ++= Seq(
        "org.apache.spark" % "spark-core_2.10" % "0.9.1",
        "org.apache.hbase" % "hbase" % "0.98.2-hadoop2",
        "org.apache.hbase" % "hbase-client" % "0.98.2-hadoop2",
        "org.apache.hbase" % "hbase-common" % "0.98.2-hadoop2",