java使用JDBC工具类连接Hadoop的hive或impala数据库
1.首先要有hive或impala的jar包,注意版本问题。
2.要知道hive或impala的版本,注意hive或impala版本和jar包版本对应,版本不一致导致无法连接。
下面给大家提供impala和hive的jar包
jdbc41_Impala 2.5.43.jar
JDBC4连接Impala的jar包
JDBC连接hive的jar
3.开始进入正题
在java项目中引入对应的hive或impala的jar包
下面编写JDBC测试类连接,以JDBC4.1连接impala为例
package com.ds.util;
import java.sql.Blob;
import java.sql.Connection;
import java.sql.Date;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class JDBCUtil {
// hive 驱动
// 注意:此处不能使用"org.apache.hive.jdbc.HiveDriver.class",否则会报错。
// private static String driver ="org.apache.hive.jdbc.HiveDriver";
// impala 驱动
private static String driver ="com.cloudera.impala.jdbc41.Driver";
// hive默认的端口是10000,default是要连接的hive的数据库的名称
// private static String url = "jdbc:hive2://10.110.11.2:10000/default";
// impala 端口21050, default是要连接的impala的数据库的名称
private static String url = "jdbc:impala://10.110.11.3:21050/default";
private static String userName = "";
private static String password = "";
// 注册驱动
static {
try {
Class.forName(driver);
} catch (ClassNotFoundException e) {
throw new ExceptionInInitializerError(e);
}
}
// 获取连接
public static Connection getConnection() {
try {
return DriverManager.getConnection(url,userName,password);
} catch (SQLException e) {
e.printStackTrace();
}
return null;
}
// 释放资源
public static void realese(Connection conn, Statement st, ResultSet rs) {
if (rs != null) {
try {
rs.close();
} catch (SQLException e) {
e.printStackTrace();
}finally {
rs = null; // 将某个对象设置为null,那么这个对象会迅速成为垃圾回收的对象
}
}
if (st != null) {
try {
st.close();
} catch (SQLException e) {
e.printStackTrace();
}finally {
st = null; // 将某个对象设置为null,那么这个对象会迅速成为垃圾回收的对象
}
}
if (conn != null) {
try {
conn.close();
} catch (SQLException e) {
e.printStackTrace();
}finally {
conn = null; // 将某个对象设置为null,那么这个对象会迅速成为垃圾回收的对象
}
}
}
public static void main(String[] args) throws SQLException {
Connection conn = null;
Statement st = null;
ResultSet rs = null;
String sql ="select id,packTimstr,av from table where id in (579,452)";
try {
// 获取连接
conn = JDBCUtil.getConnection();
// 创建运行环境
st = conn.createStatement();
// 运行SQL
rs = st.executeQuery(sql);
// 处理数据
while(rs.next()) {
// 取出机组1发电量
String str1 = rs.getString("id");// bigint
String str2 = rs.getString("packTimstr"); // string
String str7 = rs.getString("av");
System.out.println(str1+"=="+str2+"=="+str7);
}
} catch (Exception e) {
e.printStackTrace();
} finally {
JDBCUtil.realese(conn, st, rs);
}
}
}
这也是我第一次使用jdbc连接Hadoop的impala数据库的经验,希望有帮到大家。