spark scala 读取hbase

最新推荐文章于 2024-01-09 10:28:06 发布

Kallyn

最新推荐文章于 2024-01-09 10:28:06 发布

阅读量1.8k

点赞数

分类专栏：技术

本文链接：https://blog.csdn.net/klliu_control/article/details/79403078

版权

本文介绍了如何在Scala 2.10.6版本下，利用Spark读取HBase的数据。主要内容包括在pom.xml文件中配置Spark、Hadoop和HBase的依赖，以及在queryHbase.scala脚本中设置Hbase配置，特别是通过设置'hbase.nameserver.address'来提升程序运行效率。注意，版本不匹配会导致IncompatibleClassChangeError异常。

摘要由CSDN通过智能技术生成

scala版本:2.10.6

1.pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.graph</groupId>
    <artifactId>GraphGNN</artifactId>
    <version>1.0-SNAPSHOT</version>
<properties>
    <!--<scala.version>2.10.6</scala.version>-->
    <spark.version>2.1.0</spark.version>
    <hadoop.version>2.6.5</hadoop.version>
    <hbase.version>1.2.6</hbase.version>
</properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <grou