spark---hive Spark链接Hive

jiutian212

已于 2023-08-19 18:08:53 修改

阅读量245

点赞数

文章标签： spark hive 大数据

于 2023-08-19 14:49:41 首次发布

本文链接：https://blog.csdn.net/jiutian212/article/details/132377448

版权

本文介绍了如何在Spark项目中连接Hive，包括在pom.xml添加依赖，创建测试类并启用Hive支持，配置hive-site.xml以指定元数据服务地址，以及详细步骤指导如何通过元数据服务操作Hive。

摘要由CSDN通过智能技术生成

1.在idea的spark项目的pom.xml中添加依赖

<!-- spark整合hive的依赖，即可以读取hive的源数据库，使用hive的sql -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-hive_2.12</artifactId>
    <version>3.1.3</version>
</dependency>

2.新建立一个测试类 objet类

开启hive的支持 .enableHiveSupport()

如何链接到hive 在项目中

在idea spark的项目 resources中,添加hive-site.xml
配置hive的元数据服务地址

<configuration>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://doit41:9083</value>
    </property>
</configuration>

<!--
hive的元数据服务.在hive的conf的hive-site
.xml
文件下
<name>hive.metastore.uris</name>
<value>thrift://doit41:9083</value&g