通过JDBC访问hive集群

hive是大数据结构化的查询工具,之前一直使用cli客户端连接hive集群进行SQL存储过程代码的测试。
总体上来看,其实Java通过JDBC访问hive跟使用JDBC访问MySQL和Oracle的代码结构基本雷同。区别在于通过JDBC访问hive访问时,查询性能比较慢,千万级别的表测试查询速度,随机查询10条数据,需要10秒,第一次加载需要30秒以上,如果是条件查询则超过5分钟,复杂查询会有查询超时报错。
JDBC方式适合数量在十万以下的表查询,而且不适合复杂的条件查询、关联查询。
JDK版本:1.8
hive版本:0.13
hadoop版本:2.52
集群元数据库MySQL库的版本貌似是5.1,这个其实不影响。
以下为示例代码:
package com.java.linkhive;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

import org.apache.hadoop.conf.Configuration;

public class hiveTestCase {
    public static void main(String[] args) throws  Exception {
        Class.forName("org.apache.hive.jdbc.HiveDriver");


       //hive是不支持insert into...values(....)这种操作的

        String querySQLTest = "select order_no from order_bill limit 10";
        //建立连接对象
        Connection con = DriverManager.getConnection("jdbc:hive2://192.XXX.XXX.XXX:10000/DB_AA", "ETL_AA", "ETLABC");
        Statement stmt = con.createStatement();

        stmt.executeQuery(querySQLTest);
        // 执行查询语句
        ResultSet res = stmt.executeQuery(querySQLTest); 

        //输出查询结果 
        int i=1;
          while (res.next()) {
            System.out.println(res.getString(1));
        }
    }
}
以下为输出结果(log4j是java的一个标准日志输出包):

这里写图片描述
其实代码上并没有什么难度,主要问题出在jar加载上,由于jar包的缺失导致了代码无法执行,下面是经过N次尝试后,得出的编写Java通过JDBC方式连接hive集群时所需要的Jar包:
这里写图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Hive集群连接Hive,可以通过JDBC来删除和同步UDF函数。下面是具体的步骤: 1. 首先,确保你已经安装了Hive客户端和JDBC驱动程序。 2. 在你的代码中,使用JDBC连接Hive集群。例如,使用Java代码连接Hive集群: ```java import java.sql.Connection; import java.sql.DriverManager; import java.sql.Statement; public class HiveJdbcExample { private static String driverName = "org.apache.hive.jdbc.HiveDriver"; private static String connectionUrl = "jdbc:hive2://<hive_server>:<port>/<database>"; public static void main(String[] args) { try { // Register Hive JDBC driver Class.forName(driverName); // Create connection Connection con = DriverManager.getConnection(connectionUrl, "<username>", "<password>"); // Create statement Statement stmt = con.createStatement(); // Execute queries // ... // Close statement and connection stmt.close(); con.close(); } catch (Exception e) { e.printStackTrace(); } } } ``` 请将`<hive_server>`替换为Hive服务器的主机名或IP地址,`<port>`替换为Hive服务器的端口号,`<database>`替换为要连接的数据库,`<username>`和`<password>`替换为相应的用户名和密码。 3. 使用`DROP FUNCTION`语句来删除UDF函数。在执行删除操作之前,确保你已经创建了相应的UDF函数。例如,删除名为`my_udf`的UDF函数: ```java String dropFunctionQuery = "DROP FUNCTION IF EXISTS my_udf"; stmt.execute(dropFunctionQuery); ``` 4. 使用`ADD JAR`语句来同步UDF函数。在执行同步操作之前,确保你已经将UDF函数的JAR文件上传到Hive服务器上。例如,同步名为`my_udf.jar`的UDF函数: ```java String addJarQuery = "ADD JAR /path/to/my_udf.jar"; stmt.execute(addJarQuery); ``` 注意替换`/path/to/my_udf.jar`为实际的JAR文件路径。 以上就是通过JDBCHive集群中删除和同步UDF函数的步骤。你可以根据实际情况进行相应的调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值