spark读取hive phoenix映射

背景
最近在调研Kyuubi,由于原有作业中有使用Hive读取Phoenix映射表因此需要做一些适配.

过程
适配不需要改动代码,只需要拷贝相关jar到spark jars中即可(phoenix 以及hbase),拷贝完成后
直接通过spark-shell 测试可以正常读取Phoenix表,但是通过Kyuubi启动Spark Session后发现查询
一直报错。
报错信息(这里只贴出部分):
Caused by: org.apache.hadoop.hbase.exceptions.ConnectionClosingException:
根据报错信息查了很多文章都是与HiveServer2相关的,关闭HiveServer2用户模拟即可,另外通过对比
Kyuubi的Spark submit 发现其提供了 --proy-user 参数 ,这其实与上面的HiveServe2是类似的都是由于使用了
用户代理导致的,根据异常堆栈信息 发现报错是Hbase-client相关的代码导致的,因此这里下载的相关的代码
在其中加入了一些LOG 最终发下是如下代码导致的异常,对比Spark无 --proy-user参数的信息去除了如下注释的代码
部分后可以正常读取Phoenix表:
org.apache.hadoop.hbase.ipc.RpcConnection

private UserInformation getUserInfo(UserGroupInformation ugi) {
    if (ugi == null || authMethod == AuthMethod.DIGEST) {
      // Don't send user for token auth
      return null;
    }
    UserInformation.Builder userInfoPB = UserInformation.newBuilder();
    if (authMethod == AuthMethod.KERBEROS) {
      // Send effective user for Kerberos auth
      userInfoPB.setEffectiveUser(ugi.getUserName());
    } else if (authMethod == AuthMethod.SIMPLE) {
      // Send both effective user and real user for simple auth
      userInfoPB.setEffectiveUser(ugi.getUserName());
      ***// ***注释如下三行代码***
      //if (ugi.getRealUser() != null) {
      //  userInfoPB.setRealUser(ugi.getRealUser().getUserName());
      // }
    }***
    return userInfoPB.build();

}

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值