scala jdbc远程访问hive数据仓库

最新推荐文章于 2023-03-02 18:06:06 发布

HFDYCYY

最新推荐文章于 2023-03-02 18:06:06 发布

阅读量3.5k

点赞数

分类专栏：大数据集群搭建

本文链接：https://blog.csdn.net/weixin_42181917/article/details/82842707

版权

本文介绍了如何使用Scala通过JDBC远程连接到Hive数据仓库，执行查询并将结果保存到本地。首先确保Hiveserver2服务运行在10000端口。接着，在Maven项目中添加相关依赖。最后，展示了一段实现此功能的Scala代码，该代码能够将查询结果转换为RDD或DataFrame进行进一步处理。

摘要由CSDN通过智能技术生成

需求：

通过简单的Scala代码远程连接Hive，查询Hive表数据并将数据转存到本地。另外，用Scala查询到数据后，我们还可以将查询到的ResultSet集合转化为RDD或者DataFrame进行scala的算子运算

第一步：启动服务器以及需要的服务（hiveserver2）远程连接端口默认配置为10000

hive  --service hiveserver2 10000

第二步：创建maven项目导入pom.xml依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.cyy.sparkSql</groupId>
    <artifactId>sparkSqlTest</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>