使用Spark SQL需要引入的依赖

qq_45973211

已于 2022-08-30 09:19:51 修改

阅读量1.4k

点赞数

分类专栏： Spark 文章标签： spark sql hive

于 2022-08-30 09:13:49 首次发布

本文链接：https://blog.csdn.net/qq_45973211/article/details/126596681

版权

Spark 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

mysql-connector-java主要目的是Spark可以读取jdbc中的数据源；
spark-hive_2.11：通过Hive的元数据库进行连接的，Hive的元数据库在MySQL中存放的，因此需要引入MySQL，否则连接不上Hive。

<dependencies>
		<!--引入SparkSQL-->
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.3.1</version>
        </dependency>
        <!--关联MySQL-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.18</version>
        </dependency>
        <!--将Spark和Hive关联起来-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>2.3.1</version>
        </dependency>
    </dependencies>