Java 调用Hive 自定义UDF

注: 转自 http://blog.csdn.net/allen_oscar/article/details/45146913

  • Hive 具有一个可选的组件叫做HiveServer,它允许通过在一定的端口访问hive.
    将自定义的UDF的jar拷贝到安装的hive服务器中(如 /home/Hadoop下)
    具体的不啰嗦了,看代码吧!
package com.hive.client;  

import java.sql.Connection;  
import java.sql.DriverManager;  
import java.sql.ResultSet;  
import java.sql.SQLException;  
import java.sql.Statement;  

public class HiveClientUDF {  
    private static String driverName = "org.apache.hive.jdbc.HiveDriver";  
    private static String url = "jdbc:hive2://192.168.150.162:10000/default";  
    private static String sql = "";  
    private static ResultSet res;  
    public static void main(String[] args) throws SQLException, ClassNotFoundException {  
        // TODO Auto-generated method stub  

         Connection conn = null;  
         Class.forName(driverName);  
         //默认使用端口10000, 使用默认数据库,用户名密码默认  hadoop 服务器登录用户名  dh!123456登录密码  
         conn = DriverManager.getConnection(url, "hadoop", "dh!123456");  
         String tableName = "vehicle_pass";  
         Statement stmt = conn.createStatement();  
         //将cityudf.jar加入到HIVE类路径下  
         sql = "add jar /home/hadoop/cityudf.jar";  
         stmt.execute(sql);  
         //加入到classpath下  
         sql = "create temporary function cityudf as 'com.hive.utf.CityUDF'";  
         stmt.execute(sql);  
         //使用自定义UDF cityudf  
         sql = "select  key,kkNO,cityudf(key) as city from " + tableName;  
         System.out.println("Running:" + sql);  
         res = stmt.executeQuery(sql);  
         System.out.println("执行“select * query”运行结果:");  
         while (res.next()) {  

             System.out.println(res.getString(1) + "\t" +":" + res.getString(3));  

          }   
          stmt.close();  
          conn.close();    
    }  

}  
  • 运行结果:
1522301_20150417103242404_黑A01BCI   :哈尔滨  
1522301_20150417103242494_黑A013AA   :哈尔滨  
1522301_20150417103242614_黑A01GHI   :哈尔滨  
1522301_20150417103242616_黑A01GLJ   :哈尔滨  
1522301_20150417103242617_黑A01E5G   :哈尔滨  
1522301_20150417103242623_黑A01HDK   :哈尔滨  
1522301_20150417103242625_黑A018MM   :哈尔滨  
1522301_20150417103242758_黑A015KD   :哈尔滨  
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 HiveJava,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔: 1 zhangsan 2 lisi 3 wangwu 3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/data 2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: Java代码 收藏代码 hive --service hiveserver >/dev/null 2>/dev/null & 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。   Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive 0.11.0版本之前,只有HiveServer服务可用,你得在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务,如下: 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代表你已经成功的在端口为10002(默认的端口是10000)启动了hiveserver服务。这时候,你就可以通过Java代码来连接hiveserver,代码如下:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值