IntelliJ IDEA编写maven搭建的spark程序读取hbase数据

最新推荐文章于 2022-03-06 17:30:54 发布

Wingkin-

最新推荐文章于 2022-03-06 17:30:54 发布

阅读量2.8k

点赞数 1

分类专栏：大数据文章标签： spark hbase scala

本文链接：https://blog.csdn.net/Wing_kin666/article/details/111317632

版权

这篇博客介绍了如何在IntelliJ IDEA中使用Maven搭建Spark项目，读取HBase数据。内容包括项目结构、pom.xml配置以及解决不添加特定配置时出现的错误问题。

摘要由CSDN通过智能技术生成

IntelliJ IDEA编写maven搭建的spark程序的详细步骤在上篇文章中已经介绍了，感兴趣的可以去看一下：Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）
搭建的步骤是一样的，主要是pom文件和代码的不同。

1.项目结构
在这里插入图片描述
2.pom文件

<properties>
        <spark.version>2.1.0</spark.version>
        <scala.version>2.11</scala.version>
        <hbase.version>2.0.2</hbase.version>
        <hadoop.version>3.1.1</hadoop.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${
   scala.version}</artifactId>
            <version>${
   spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${
   scala.version}</artifactId>
            <version>${
   spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${
   scala.version}</artifa