Flink本地IDEA运行时如何加载plugins(以flink-s3-fs-hadoop为例)

本文介绍了在IntelliJ IDEA中本地调试Flink时如何加载插件flink-s3-fs-hadoop。内容包括软件版本、插件与lib的区别以及在IDEA中设置FLINK_PLUGINS_DIR环境变量来指定插件目录的详细步骤,以解决jar包冲突问题。
摘要由CSDN通过智能技术生成

Flink本地IDEA运行时如何加载plugins

软件版本

flink: 1.16.1
插件: flink-s3-fs-hadoop-1.16.1.jar

plugins与lib的区别

插件通过受限的类加载器实现代码隔离。插件无法访问其他插件或未列入白名单的 Flink 的类。因此这种严格的隔离允许插件包含同一库的冲突版本,而无需重新定位类或收敛到通用版本。

以flink-s3-fs-hadoop为例的以shade方式打包的插件,依赖的第三方库会被一并打包到jar包中,如果在maven中引用了该jar,那么大概率会产生严重的jar包冲突。

flink文档关于plugins的描述:
在这里插入图片描述

在IDEA中本地调试的方法

  1. 在 " Run -> Run/Debug Configurations -> Environment Vaiables" 中添加FLINK_PLUGINS_DIR环境变量用于查找插件所在的目录。

    这个环境变量是可选的,默认路径为项目根目录下的plugins文件夹。

    环境变量: FLINK_PLUGINS_DIR

    org.apache.flink.core.plugin.PluginConfig 加载plugins的源码:

    public static PluginConfig fromConfiguration(Configuration configuration) {
         
        return new PluginConfig(
                getPluginsDir().map(File::toPath),
                CoreOpt
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值