DolphinScheduler配置Kerberos,过期重启解决问题(完结)

Zakza

已于 2023-10-17 15:35:05 修改

阅读量617

点赞数

分类专栏： BigData 文章标签： Kerberos 海豚调度 DS

于 2023-08-15 15:01:51 首次发布

本文链接：https://blog.csdn.net/qq_18453581/article/details/132298018

版权

BigData 专栏收录该内容

42 篇文章 2 订阅

订阅专栏

总结:代码bug导致,修改源码重新编译

解决方法

注意:使用UserGroupInformation.getCurrentUser().hasKerberosCredentials()判断认证是否过期无效

一只解决worker节点

定位 org.apache.dolphinscheduler.common.utils.HadoopUtils#copyHdfsToLocal

//在使用fs前添加判断是否Kerberos过期
            try {
                this.fs.getFileStatus(new Path("/"));
            } catch (IOException e) {
                logger.warn("当前进程号:" + Thread.currentThread().getId() + "\t测试获取hdfs文件信息失败,更新fs");
                this.fs = getInstance().fs;
            }//源码未改动 定位用
return FileUtil.copy(fs, srcPath, dstPath, deleteSource, fs.getConf());

二解决所有

org.apache.dolphinscheduler.common.config.StoreConfiguration修改HDFS的对象

    @Bean
    public StorageOperate storageOperate() {
        switch (PropertyUtils.getString(RESOURCE_STORAGE_TYPE)) {
            case STORAGE_S3:
                return S3Utils.getInstance();
            case STORAGE_HDFS:
                HadoopUtils hadoopUtils = HadoopUtils.getInstance();
                hadoopUtils.instanceMonitor();
                return hadoopUtils;
            default:
                return null;
        }
    }

org.apache.dolphinscheduler.common.utils.HadoopUtils添加方法instanceMonitor

    public void instanceMonitor() {
        logger.warn("创建HadoopUtils实例监控线程...");
        Executors.newSingleThreadScheduledExecutor().scheduleAtFixedRate(() -> {
            try {
                this.fs.getFileStatus(new Path("/"));
            } catch (IOException e) {
                logger.warn("当前进程号:" + Thread.currentThread().getId() + "\t测试获取hdfs文件信息失败,更新fs");
                this.fs = getInstance().fs;
            }
        }, 3, 1 * 60, TimeUnit.SECONDS);
    }

只对Bean中的fs定时更新,其他的都是调用getInstance,会自动更新,重新编译后复制到不同模块的lib目录下