Java 使用JDBC连接 Hive(HiveClient On JDBC)

最新推荐文章于 2024-05-05 16:40:24 发布

苍穆

最新推荐文章于 2024-05-05 16:40:24 发布

阅读量1.9w

点赞数 3

分类专栏： hive 文章标签： Hive Hive JDBCClient Hive on JDBC

本文链接：https://blog.csdn.net/u010745505/article/details/72770958

版权

使用JDBC方式连接Hive 。

摘要由CSDN通过智能技术生成

一、前言

Hive中有HiveServer和HiveServer2两种服务，这两种服务都是基于Thrift的，但由于HiveServer不能处理多于一个客户端的并发请求(由于HiveServer使用的Thrift接口所导致的限制)，且不能通过修改HiveServer的代码进行更正，因此在Hive-0.11.0版本中重写了HiveServer代码得到了HiveServer2，进而解决了该问题。HiveServer2支持多客户端的并发和认证，为开放API客户端如JDBC、ODBC提供更好的支持。本文使用HiveServer2为例，介绍和编写远程操作Hive的Java API。

二、连接Hive

1. 启动hiveserver2服务

Hive的安装及配置就不再赘述，连接Hive首先需要启动HiveServer2的服务，执行以下两个命令启动：

启动metastore

hive --service metastore &

启动hiveServer2

## 或直接执行hiveserver2
hive --service hiveserver2 &

启动完成后，可执行netstat -nl |grep 10000 查看hiveserver2是否已经开启

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

苍穆

关注关注

3
点赞
踩
17

收藏

觉得还不错? 一键收藏
3
评论
Java 使用JDBC连接 Hive(HiveClient On JDBC)

使用JDBC方式连接Hive 。
复制链接

扫一扫

专栏目录

java 访问hivemeta及hivemeta安全防护

weixin_40455124的博客

08-27

250

简单记录下java 访问hivemeta pom.xml配置无需hadoop依赖，配置hive相关依赖即可。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/P

Hive-JDBC操作，2024大厂Java开发面试总结+解答

m0_61067876的博客

03-14

325

作为一名即将求职的程序员，面对一个可能跟近些年非常不同的 2019 年，你的就业机会和风口会出现在哪里？在这种新环境下，工作应该选择大厂还是小公司？已有几年工作经验的老兵，又应该如何保持和提升自身竞争力，转被动为主动？就目前大环境来看，跳槽成功的难度比往年高很多。一个明显的感受：今年的面试，无论一面还是二面，都很考验Java程序员的技术功底。最近我整理了一份复习用的面试题及面试高频的考点题及技术点梳理成一份“Java经典面试问题（含答案解析）.pdf和一份网上搜集的“Java程序员面试笔试真题库.pdf。

3 条评论您还未登录，请先登录后发表或查看评论

hiveserver2服务的启动与简单使用技巧

最新发布

weixin_44144092的博客

05-05

1108

在数据源管理功能中，需要适配mysql、postgresql、hive等数据源。mysql和postgresql连接方式一致，只需要驱动和jdbcurl即可，而hive背后是大数据集群，多采用Kerberos的方式保护集群环境，要想与大数据集群正常交互，需要经过kdc认证获取ticket，因此获取hive连接前需要先通过Kerberos认证。

Hive元数据库连接(beeline,metastore,hiveserver2)

weixin_74143660的博客

09-19

622

【代码】Hive元数据库连接(beeline,metastore,hiveserver2)

java访问hive的方式

进击的莱鸟

11-07

251

保证hive --service hiveserver 1、jdbc方式 hive的lib下的jar全部都包含进去，另外要包含hadoop-0.20.2-core.jar /** * 通过jdbc方式访问hive */ publicclass HiveClient { privatestatic Connection conn = ...

使用javaJDBC连接hive数据，实现简单的操作！

05-27

在本教程中，我们将深入探讨如何使用Java JDBC连接到Hive数据库，并执行基本的数据操作。Hive是一个基于Hadoop的数据仓库工具，它允许我们对大规模数据集进行SQL-like查询。首先，我们需要在Java项目中引入Hive ...

Java通过JDBC连接Hive

03-20

压缩包中包含Java通过JDBC连接Hive所需的jar包。包含有，antlr-runtime-3.0.1.jar;commons-logging-1.0.4.jar;hadoop-core-1.2.1.jar;hive-exec-0.10.0.jar;hive-jdbc-0.13.1.jar;hive-metastore-0.9.0.jar;hive-...

hive2-jdbc:Hive JDBC连接示例，包括简单和kerberos身份验证方法

04-28

Hive JDBC连接示例该项目展示了如何使用各种不同的方法连接到Hiveserver2。所有类仅适用于Hiveserver2。正在使用Cloudera JDBC驱动程序，可以从下载。在撰写本文时，最新版本为v2.5.15 。要求：您需要下载驱动...

JDBC连接hive的jar

12-03

标题中的“JDBC连接hive的jar”指的是Java应用程序通过Java Database Connectivity (JDBC) API来与Hadoop生态中的Hive数据仓库进行交互时所需的特定jar文件。Hive提供了一个基于SQL的接口，允许开发者以结构化的方式...

java jdbc连接hive所需要所有jar包,请测有效。

07-18

在Java中使用JDBC连接Hive，我们需要特定的驱动jar包来建立这种连接。本压缩包文件"jdbc_hive_jar"包含了实现Java程序通过JDBC连接到Hive所需的所有jar包。这些jar包通常包含Hive JDBC驱动，它实现了与Hive服务器...

Hive的安装和使用以及Java操作hive

CSDN专家-微编程的博客

12-20

9328

Hive 引言简介 hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。总结 Hive是一个数据仓库 Hive构建在HDFS上，可以存储海量数据。 Hive

Java通过JDBC操作Hive

amy acker的博客

02-26

3388

连接前请确保hive开了远程服务连接驱动 import java.sql.Connection; import java.sql.DriverManager; import java.sql.Statement; public class HiveJDBCUtils { private static String driverName = &amp;amp;quot;org.apache.hive.jdbc.Hi...

Hive:用Java代码通过JDBC连接Hiveserver

╱/.进oоΟ的专栏

01-24

1万+

原文地址:http://blog.csdn.net/wypblog/article/details/17390333 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在

Java 连接 Hive

Allen 的技术专栏

04-27

2454

Hive具有一个可选的组件叫做HiveServer后者HiveThrift,其允许通过指定端口访问Hive.访问Hive常用访问方式是通过CLI进行访问。不过，CLI设计使其不方便通过编程的方式访问。CLI是胖客户端。Hive提供了jdbc驱动，使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样，我们也需要将Hive的服务打开；在Hive

Java(113):Java通过jdbc连接hive3.12

fen_fen的专栏

03-28

395

Java通过jdbc连接hive

hadoop hive java例子_hadoop – 连接Hive和Java JDBC

weixin_42311265的博客

03-05

148

这里有一个问题connect from java to Hive但我的不同我的hive在machine1上运行,我需要使用在machine2上运行的Java服务器传递一些查询.据我所知,Hive有一个JDBC接口,用于接收远程查询.我从这里拿了代码 – HiveServer2 Clients我安装了文章中写的依赖项： –> hive-jdbc * .jar> hive-service ...

实验7HiveJDBC连接

Alicia_LX的博客

11-30

2256

记2022上半年hive学习 1. Linux Ubuntu 20.04 2. JDK1.8 3. Hadoop3.1.0 4. MySQL8.0.28 5. Hive3.1.2

大数据系列之数据仓库Hive命令使用及JDBC连接

人人都是程序员

04-09

1073

Hive系列博文，持续更新~~~ 大数据系列之数据仓库Hive原理大数据系列之数据仓库Hive安装大数据系列之数据仓库Hive中分区Partition如何使用大数据系列之数据仓库Hive命令使用及JDBC连接本文介绍Hive的使用原理及命令行、Java JDBC对于Hive的使用。　　在Hadoop项目中，HDFS解决了文件分布式存储的问题，MapReduce解决了数据处理分布...

spark使用jdbc链接hive

04-05

使用Spark连接Hive需要以下步骤： 1. 在Spark应用程序中添加Hive依赖项： ```scala libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.4.7" ``` 2. 创建SparkSession对象（如果使用Spark Shell，则不需要此步骤）： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("Spark Hive Example") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") .enableHiveSupport() .getOrCreate() ``` 3. 使用JDBC连接Hive： ```scala val hiveUrl = "jdbc:hive2://<hostname>:<port>/<database>" val hiveUsername = "<username>" val hivePassword = "<password>" val hiveDriver = "org.apache.hive.jdbc.HiveDriver" Class.forName(hiveDriver) val conn = DriverManager.getConnection(hiveUrl, hiveUsername, hivePassword) ``` 4. 使用Spark连接Hive： ```scala val hiveTableName = "<table>" val hiveDataFrame = spark.sql(s"SELECT * FROM $hiveTableName") hiveDataFrame.show() ``` 注意事项： - 需要将JDBC驱动程序添加到应用程序的类路径中。 - `<hostname>`是Hive服务器主机名或IP地址，`<port>`是端口号，`<database>`是Hive数据库名称。 - `<username>`和`<password>`是Hive的用户名和密码。 - `<table>`是Hive中要查询的表名称。