flink中的类加载器ClassLoader

最新推荐文章于 2024-02-20 11:11:34 发布

笨死了啊

最新推荐文章于 2024-02-20 11:11:34 发布

阅读量1.8k

点赞数 1

本文链接：https://blog.csdn.net/songduo22/article/details/108469440

版权

在flink中的taskManager中的ClassLoader并不是使用的双亲委派机制

类加载器从子到父为

org.apache.flink.util.ChildFirstClassLoader@72031a7e
jdk.internal.loader.ClassLoaders$AppClassLoader@4b85612c
jdk.internal.loader.ClassLoaders$PlatformClassLoader@80f4325

再往上PlatformClassLoader的paretn ClassLoader就是null了，应该就到bootstrap classloader

AppClassLoader和PlatformClassLoader同一个taskManager中是不会变的，而每个slot的ChildFirstClassLoader会变

个人认为应该是双亲委派不能够满足flink的需求才换成ChildFirstClassLoader

因为在同一个jvm中如果使用双亲委派就做不到在不同的slot中执行任务，不然不同任务之间会互相影响，因为可能会存在全限定名一样的类。而每个slot使用不同的classloader则能够将不同任务使用的jar分开加载

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

笨死了啊

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Flink】Flink classloader.check-leaked-classloader

九师兄

01-21

3576

解决方法flink-conf.yaml设置false对应的源码如果作业的用户类类加载器在作业终止后被使用，则装入类的尝试将失败。这通常是由于类加载器被滞留线程，或行为不当的库泄漏而引起的，这也可能导致类加载器被其他作业使用。只有当此类泄漏阻止其他作业运行时，才应禁用检查。...

Flink进阶系列--类加载机制

打酱油的葫芦娃

04-10

7549

本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. 要讲解 Flink 的类加载机制，首先你得对 JDK 的类加载机制有所了解。推荐阅读我之前写的1篇博客: 基于源码深入了解Java的类加载机制(JDK8和JDK11双版本) 接着看一下 FLink 的类加载器继承结构： FlinkUserCodeClassLoader 继承自 URLClassLoader 类，其 loadClass() 方法实现如下: @Override public final Cl.

1 条评论您还未登录，请先登录后发表或查看评论

Flink的类加载器

从大数据到人工智能的博客

10-16

1394

概览在运行 Flink 应用程序时，JVM 会随着时间的推移加载各种类。这些类可以根据它们的来源分为三组： Java Classpath：这是Java的通用类路径，它包括JDK库，以及Flink /lib文件夹中的所有代码（Apache Flink的类和一些依赖）。 Flink 插件组件：插件代码在 Flink 的 /plugins 文件夹下的文件夹中。 Flink 的插件机制会在启动时动态加载一次。动态用户代码：这些是动态提交的作业的 JAR 文件中包含的所有类（通过 REST、CLI、

Flink的classLoader加载机制（推测）-- 记一次程序问题中的探索

lijianqingfeng的专栏

07-02

4875

项目中需要用flink去加载c++的so文件。flink任务中如果有加载so的逻辑，当任务挂掉之后，再次重启的时候会报“Native Library xxx is being loaded in another classloader”的错误（这个过程中Flink集群的进程没退出）。通过分析System.loadLibrary(String libname)方法，发现加载后的so文件会记录在内存里，会记录一些信息，包括so文件名、加载这个so的类所用的classLoader（每个类都是被...

Flink类加载

不甚了然的博客

05-14

2489

1.配置以下三个是主要的加载方式配置，其他还有一些插件加载和加载异常处理的配置 1、classloader.resolve-order child-first（默认）、parent-first。从业务代码加载类时的策略，即先检查业务包还是按通常的java加载机制 2、classloader.parent-first-patterns.default 指定哪些类首先通过父类加载器解析，默认主要是java、flink、log4j一系列的 3、classloader.parent-first-patterns.

Flink的类加载机制、参数配置及具体任务执行时的类加载代码讲解

penriver的博客

09-14

2739

基于flink 1.13.2代码分析 1 flink类加载 1.1 相关的配置 flink类加载相关的配置配置项默认值类型描述 classloader.check-leaked-classloader true Boolean 如果一个作业的用户类加载器在作业终止后使用，则装入类的尝试将失败。这通常是由滞留线程或行为不当的库泄漏类加载器造成的，这也可能导致其他作业使用类加载器。只有当泄漏阻止了进一步的作业运行时，才应该禁用此检查. classloader.fail-on-meta

Flink ClassLoader 检测泄漏的类加载器

JieLun_C的博客

08-30

343

然而，如果任务中的代码存在内存泄漏或资源未正确释放的情况，就可能导致类加载器无法被回收，从而引发泄漏的类加载器问题。然而，如果任务中的代码存在内存泄漏或资源未正确释放，就可能导致类加载器无法回收，引发泄漏的类加载器问题。总结起来，泄漏的类加载器是大数据处理框架中常见的问题之一，如果不及时解决，可能会导致内存泄漏和其他不可预测的后果。通过这种方式，我们可以及时发现和解决潜在的泄漏问题，避免因泄漏的类加载器而引发的各种隐患。通过这种方式，可以及时发现和解决潜在的泄漏问题，避免由于泄漏的类加载器引发的各种隐患。

【Flink】双亲委派模型与Flink的类加载策略 child-first parent-first

九师兄

08-01

1762

我们知道，在JVM中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加载器（ClassLoader）通过类的全限定名来获取定义此类的二进制字节码流，进而构造出类的定义。Flink作为基于JVM的框架，在flink-conf.yaml中提供了控制类加载策略的参数classloader.resolve-order，可选项有child-first（默认）和parent-first。本文来简单分析一下这个参数背后的含义。...

Flink从入门到精通100篇（十）-双亲委派模型与 Flink 的类加载策略

wenyusuran的专栏

08-30

1623

我们知道，在 JVM 中，一个类加载的过程大致分为加载、链接（验证、准备、解析）、初始化5个阶段。而我们通常提到类的加载，就是指利用类加载器（ClassLoader）通过类的全限定名来获取定义此类的二进制字节码流，进而构造出类的定义。 Flink 作为基于 JVM 的框架，在 flink-conf.yaml 中提供了控制类加载策略的参数 classloader.resolve-order，可选项有 child-first（默认）和 parent-first。本文来简单分析一下这个参数背后的含义。 .

Flink ChildFirstClassLoader loadClassWithoutExceptionHandling 抛出空指针异常 - 大数据

2301_79367634的博客

08-31

162

在上述示例中，ChildFirstClassLoader 类的 loadClassWithoutExceptionHandling 方法尝试加载指定的类，如果在加载过程中发生错误，例如找不到类的字节码数据，它将直接抛出 ClassNotFoundException 异常。然而，ChildFirstClassLoader 在加载类时存在一个潜在的问题，即 loadClassWithoutExceptionHandling 方法没有适当的异常处理机制，可能会导致空指针异常的抛出。

flink 任务执行类的加载

不说话装高手

12-08

3202

执行具体任务的TaskManager在要执行向相应的具体的任务之前，都是通过submitTask()方法得到具体所要执行的任务的。在submitTask()中，部署的任务信息并不包含具体所要执行的目标任务类jar包。所要任务的抽象是Task类。其实现了Runnnable接口，自然提供了run()方法可提供给线程进行调用。在其构造方法中，以自身为target作为Thread构造函数的参...

【flink】flink Class not resolvable through given classloader ClassNotFoundException: FlinkKafkaConsum

九师兄

04-18

2181

1.概述某些情况下 flink报错如下 2021-04-16 17:13:52 org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot load user class: org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer ClassLoader info: URL ClassLoader: file: '/tmp/blobStore-4a12d

java.lang.LinkageError: loader constraint violation: loader (instance of org/apache/flink/util/Child

weixin_927326的博客

06-26

1803

flink job 打包时，jar包用application运行时报错依赖冲突

classloader读取配置文件_《从0到1学习Flink》—— Flink 配置文件详解

weixin_39829307的博客

12-04

181

前面文章我们已经知道 Flink 是什么东西了，安装好 Flink 后，我们再来看下安装路径下的配置文件吧。安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。flink-conf.yaml基础配置# jobManager 的IP地址 jobmanager.rpc.address: localhost # JobManage...

Flink1.14提交任务报错classloader.check-leaked-classloader问题解决

遇安的博客

02-01

3186

Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library and cannot be fixed immediately, you can disable this check with t

阅读 Flink 源码前必知必会 - SPI 和 ClassLoader

天道酬勤

01-27

574

一、本文大纲二、ClassLoader 类加载器 1、Java 中的类加载器以及双亲委派机制 Java 中的类加载器，是 Java 运行时环境的一部分，负责动态加载 Java 类到 Java 虚拟机的内存中。有了类加载器，Java 运行系统不需要知道文件与文件系统。那么类加载器，什么类都加载吗？加载的规则是什么？ Java 中的类加载器有四种，分别是： BootstrapClassLoader，顶级类加载器，加载JVM自身需要的类； ExtClassLoader，他负责加载扩展类，如 jre/li

【Flink】Flink ChildFirstClassLoader loadClassWithoutExceptionHandling 空指针

九师兄

02-25

558

1.场景1 1.1 概述偶然flink运行报错。flink sql 写hive，分区提交这个算子 1.2. 源码根据报错找到相关的代码 1.2.1 loadClassWithoutExceptionHandling 根据代码可以知道报错位置：name.startsWith(alwaysParentFirstPattern) 根据for循环可以知道 alwaysParentFirstPattern 不能为空。那么只能是name为空了。 @Override protected Class<?

flink类加载器原理与隔离（flink jar包冲突）