使用jdbc连接带kerberos认证的hive

在处理这个问题的过程,遇到几个问题:

HADOOP_HOME or hadoop.home.dir are not set

出现这个问题是代码运行的环境没有设置环境变量HADOOP_HOME 或者指定 hadoop.home.dir,如果是在windoss上运行,远程连接linux服务器的,应该在windos上设置环境变量$HADOOP_HOME,在path中添加Hadoop的bin目录 。
具体解决方法:由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题

可是我的代码以后不是要运行在windows上的,要运行在Linux上,而linux上已经安装了CDH平台。用命令运行打包好的jar,还是出现HADOOP_HOME or hadoop.home.dir are not set,
查看/etc/profile 没有发现hadoop_home相关的环境变量,所以添加

export  HADOOP_HOME=/opt/cloudera/parcels/CDH/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR= ${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path= ${HADOOP_HOME}/lib/"

这里的HADOOP_HOME,请根据自己的运行环境进行配置

GSS initiate failed

通常出现这个错误是jdbc url出现问题,不带kerberos的jdbc连接hive 的 url为

jdbc:hive2://****:10000/database

**** 为主机名或者ip,database为库名,如果你不选择使用哪个数据库,就为

jdbc:hive2://****:10000/

最后的“ / ”一定不能丢!
而带kerberos认证的url为

 jdbc:hive2://*****:10000/database;principal=hive/****@DWSP.COM

这里的两处的 ***** 要保持内容一样,也是你hive所在的服务器的ip或者主机名,并且 principal= 后面的是一定要有3部分内容分别为 hive , ***** ,DWSP.COM,第2部分,第三部分根据的自己的情况进行改变。
代码是根据java api读取集群hive数据(kerberos认证)改写的

import jodd.util.PropertiesUtil;
import org.apache.hadoop.security.UserGroupInformation;

import java.io.IOException;
import java.io.InputStream;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.util.Properties;

public class hiveUtil {
    private static Properties props=null;
    static {
        props=new Properties();
        InputStream in = PropertiesUtil.class.getClassLoader().getResourceAsStream("cdhConfig.properties");
        try {
            props.load(in);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
//    private static String hiveJDBCurl = "jdbc:hive2://**:10000/;principal=hive/**@DWSP.COM";// hive库地址+库名

    private static void authKrb5() throws IOException {
        // 设置jvm启动时krb5的读取路径参数
        System.setProperty("java.security.krb5.conf", (String) props.get("java.security.krb5.conf"));
        // 配置kerberos认证
        org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration();
//        conf.setBoolean("hadoop.security.authorization", true);
        conf.set("hadoop.security.authentication", (String) props.get("hadoop.security.authentication"));
        //配置将要登陆kerberos的用户,和其对应的keytab的所在路径
        UserGroupInformation.setConfiguration(conf);
        try {
            UserGroupInformation.loginUserFromKeytab(
                    (String) props.get("kerberos.principal"),
                    (String) props.get("kerberos.keytab"));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static Connection getConn() throws ClassNotFoundException,
            SQLException, IOException {
        //认证kerberos
        authKrb5();
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        Connection conn = DriverManager.getConnection((String) props.get("hive.JDBC.url"));
        return conn;
    }
}

  • 8
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值