Hive学习之HiveServer2 JDBC客户端

HiveServer和HiveServer2都有两种模式，分别为嵌入式和单机服务器模式，对于嵌入式URI为"jdbc:hive://"或者"jdbc:hive2://"，单机服务器模式的URI为

1. "jdbc:hive://host:port/dbname"或者"jdbc:hive2://host:port/dbname"

复制代码

。HiveServer使用的JDBC驱动类为org.apache.hadoop.hive.jdbc.HiveDriver，而HiveServer2使用的驱动类为org.apache.hive.jdbc.HiveDriver。

       HiveServer2的JDBC客户端与连接传统数据库如Oracle、MySQL的客户端极度相似，除了连接URL略有区别以外，HiveServer2的连接URL前缀统一为jdbc:hive2://。由于HiveServer2支持通过HTTP传输数据，也支持SSL连接，所以存在三种连接URL，下面分别进行学习。

       首先是基于TCP的连接URL，对于远程服务器URL格式为：jdbc:hive2://<host>:<port>/<db>，默认端口为10000。嵌入式URL格式为：jdbc:hive2://，没有主机和端口号。

       当hive.server2.transport.mode的值为HTTP，即基于HTTP传输数据时，连接URL为：jdbc:hive2://<host>:<port>/<db>?hive.server2.transport.mode=http;hive.server2.thrift.http.path=<http_endpoint>。其中http_endpoint的值为hive.server2.thrift.http.path设置的值，默认为cliservice，默认端口号为10001。

       当HiveServer2启用SSL时，即hive.server2.use.SSL的值为true，连接URL为：jdbc:hive2://<host>:<port>/<db>;ssl=true;sslTrustStore=<trust_store_path>;trustStorePassword=<trust_store_password>。

其中<trust_store_path>的值为hive.server2.keystore.path设置的保存keystore的路径，<trust_store_password>为hive.server2.keystore.password设置的keystore密码。在HTTP模式下，连接URL为：jdbc:hive2://<host>:<port>/<db>;ssl=true;sslTrustStore=<trust_store_path>;trustStorePassword=<trust_store_password>?hive.server2.transport.mode=http;hive.server2.thrift.http.path=<http_endpoint>，各参数的含义同上。

使用JDBC驱动程序操作Hive中的数据大体可以分成四个步骤，分别为：

• 加载HiveServer2驱动程序，Class.forName("org.apache.hive.jdbc.HiveDriver")。
• 根据URL连接指定的数据库：Connection cnct =DriverManager.getConnection("jdbc:hive2://<host>:<port>","<user>", "<password>")。在非安全模式下，指定一个<user>运行查询，忽略密码<password>，在Kerberos 安全模式下，用户信息基于Kerberos 凭证。
• 通过Statement 对象将查询提交到数据库并执行：Statement stmt = cnct.createStatement(); ResultSet rset = stmt.executeQuery("SELECT foo FROMbar");
• 对返回的结果进行必要的处理。
  

       下面看看Hive与JDBC数据类型的对应关系，如下表所示。

Hive类型	Java 类型	描述
TINYINT	byte	有符号或无符号1字节整数
SMALLINT	short	有符号2字节整数
INT	int	有符号4字节整数
BIGINT	long	有符号8字节整数
FLOAT	double	单精度浮点数
DOUBLE	double	双精度浮点数
DECIMAL	java.math.BigDecimal	固定精度小数值
BOOLEAN	boolean	布尔值，0或1
STRING	String	字符串
TIMESTAMP	java.sql.Timestamp	日期时间
BINARY	String	二进制数据
ARRAY	String – json encoded	同种数据类型的值
MAP	String – json encoded	key-value对
STRUCT	String – json encoded	结构化值

       下面通过一个简单的例子看看HiveServer2 JDBC客户端代码是如何编写的。

1. import java.sql.Connection;
   
2. importjava.sql.DriverManager;
   
3. import java.sql.ResultSet;
   
4. importjava.sql.PreparedStatement;
   
5. import java.sql.SQLException;
   
6. public class HiveServer2Client {
   
7.       publicstatic voidmain(String[] args) throws ClassNotFoundException{
   
8.              Class.forName("org.apache.hive.jdbc.HiveDriver");
   
9.              try{
   
10.                     Connection con = DriverManager.getConnection("jdbc:hive2://hadoop:10000/logdb","hadoop","");
    
11.                     PreparedStatement sta = con.prepareStatement("select cast(date as date) from ccp group bycast(date as date)");
    
12.                     ResultSet result = sta.executeQuery();
    
13.                     while(result.next()){
    
14.                            System.out.println(result.getDate(1));
    
15.                     }
    
16.              } catch(SQLException e) {
    
17.                     e.printStackTrace();
    
18.              }
    
19.       }
    
20. }

复制代码

  编译运行上面的代码需要确保类路径中包含下面所列的jar包，否则会失败：

1. hive-jdbc-0.13.0.jar、hive-service-0.13.0.jar 、httpcore-4.2.5.jar、httpclient-4.2.5.jar、commons-logging-1.1.3.jar、hive-exec-0.13.0.jar、hadoop-core-1.2.1.jar、slf4j-log4j12-1.4.3.jar、slf4j-api-1.4.3.jar、log4j-1.2.16.jar、libthrift-0.9.0.jar
   

复制代码

在实际执行上面的代码时，连接URL中的user参数不可以随意指定，指定的用户必须在HDFS上有操作文件的权限，否则会出现下面所示的异常：

1. org.apache.hadoop.security.AccessControlException: Permission denied: user=hive, access=WRITE,inode="hive-hadoop":hadoop:supergroup:rwxr-xr-x
   

复制代码