springboot中使用jdbc+impala+Kerberos+数据源查询hive

在springboot中使用jdbc连接impala可以参照上一篇笔记java使用jdbc绕过Kerberos连接impala,此次是在上一篇的基础上进行优化。增加了数据库连接池与同步hive操作。

1. 同步hive

在本项目的实际应用场景中，会向hive中新建表，然后使用查询impala的方式获取hive中的数据。但是在实际的操作过程中发现，每次hive新建表后，需要在impala中进行同步操作才可以查询到新建的表。

同步操作很简单，jdbc连接impala成功后，执行下面sql即可。

INVALIDATE METADATA

后来又发现一个问题，就是在每次查询前都进行同步操作的话，那样是非常耗费时间与性能的操作，但是在hive中新建一个表的操作与查询impala不是同一个模块的工作，最后采用了消息队列的方式，当hive新建表完成后，会通过消息队列通知java模块进行impala同步hive的操作，这样就避免了每次查询impala都去同步数据库的操作。

2. Kerberos认证

此前采用每次获取impala的jdbc连接前都进行一次Kerberos认证的方式，但是每次都进行验证也是耗费时间与性能的，就想着能不能在某一次验证通过后，后续就无需再进行认证了。

后于Kerberos部署人员了解后，知道Kerberos认证的有效时间是24小时。也就是说我每24小时进行一次验证就可以了，那么最开始启动springboot服务的时候该如何通过认证呢？

Springboot启动时执行指定代码

我们在平时的springboot项目中会遇到在服务启动时期望其加载某些静态文件，或者服务启动时访问某些其他服务。这时候就需要在springboot中配置启动执行。

springboot为我们提供了两种开机启动的接口

1. CommandLineRunner
2. ApplicationRunner
3. 同时我们也可以采用spring提供的监听事件ApplicationListener来实现 几种种方式都可以实现“开机启动”。

package com.mas.bgdt.dmp.data.report.config;

import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;

import java.io.IOException;

/**
 * @Description springboot启动服务时跳过Kerberos认证
 * @Author LiuYue
 * @Date 2019/7/30
 * @Version 1.0
 */
@Slf4j
@Component
public class KerbersInit implements CommandLineRunner{
   

    @Value("${impala.kerb5}")
    private String krb5;
    @Value("${impala.keytab}")
    private String keyTab;

    private final String userName = "****";

    @Override
    public void run(String... args) throws Exception {
   

        System.setProperty("java.security.krb5.conf", krb5);

        Configuration configuration = new Configuration();
        configuration.set("hadoop.security.authentication","Kerberos");
        UserGroupInformation.setConfiguration(configuration);
        try {
   
            UserGroupInformation.loginUserFromKeytab(userName, keyTab);
            System.out.println(UserGroupInformation.getLoginUser());
        } catch (IOException e) {
   
            log.error("通过Kerberos认证失败",e);
        }
        log.info("通过Kerberos认证成功");
    }
}

这里使用的是实现CommandLineRunner接口的方式实现springboot启动完毕就进行Kerberos认证，为了避免中间认证丢失，还定义了一个定时任务，每隔12个小时重新进行一次认证。

package com.mas.bgdt.dmp.schedule;

import lombok.extern.slf4j.Slf4j;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.security.UserGroupInformation;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.scheduling.annotation.<