flink中的类加载器ClassLoader

最新推荐文章于 2024-02-20 11:11:34 发布
最新推荐文章于 2024-02-20 11:11:34 发布
阅读量1.7k 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songduo22/article/details/108469440
版权

在flink中的taskManager中的ClassLoader并不是使用的双亲委派机制

类加载器从子到父为

org.apache.flink.util.ChildFirstClassLoader@72031a7e
jdk.internal.loader.ClassLoaders$AppClassLoader@4b85612c
jdk.internal.loader.ClassLoaders$PlatformClassLoader@80f4325

再往上PlatformClassLoader的paretn ClassLoader就是null了，应该就到bootstrap classloader

AppClassLoader和PlatformClassLoader同一个taskManager中是不会变的，而每个slot的ChildFirstClassLoader会变

 

个人认为应该是双亲委派不能够满足flink的需求才换成ChildFirstClassLoader

因为在同一个jvm中如果使用双亲委派就做不到在不同的slot中执行任务，不然不同任务之间会互相影响，因为可能会存在全限定名一样的类。而每个slot使用不同的classloader则能够将不同任务使用的jar分开加载

笨死了啊
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【Flink】Flink ChildFirstClassLoader loadClassWithoutExceptionHandling 空指针
九师兄
02-25 496
1.场景1 1.1 概述 偶然flink运行报错。flink sql 写hive，分区提交这个算子 1.2. 源码 根据报错找到相关的代码 1.2.1 loadClassWithoutExceptionHandling 根据代码可以知道报错位置：name.startsWith(alwaysParentFirstPattern) 根据for循环可以知道 alwaysParentFirstPattern 不能为空。那么只能是name为空了。 @Override protected Class<?
实时数仓flink ClickHouse工具类
08-30
封装 ClickHouse 工具类和方法 相关依赖 <dependency> <groupId>ru.yandex.clickhouse</groupId> <artifactId>clickhouse-jdbc</artifactId> <version>0.3.0</version> <exclusions> <exclusion> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> </exclusion> <exclusion> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-core</artifactId> </exclusion> </exclusions> </dep
flink中文教程.zip
03-02
flink中文教程： 目录： 概念 教程 例子 应用开发 部署与运营 调试和监控 IDE开发 内幕
flink类加载器原理与隔离（flink jar包冲突）
Direction_Wind的博客
02-20 1450
Classpath是JVM用到的一个环境变量，它用来指示JVM如何搜索Class。因为Java是编译型语言，源码文件是.java，而编译后的.class文件才是真正可以被JVM执行的字节码。因此，JVM需要知道，如果要加载一个com.dtstack.HelloWorld的类，应该去哪搜索对应的HelloWorld.class文件。所以，Classpath就是一组目录的集合，它设置的搜索路径与操作系统相关，例如：在Windows系统上，用;
flink安装部署问题汇总
一切皆可码
09-21 209
flink在windows上使用安装非常的不方便，折腾很久后，虽然环境是搭起来了，创建flink.bat和start-cluster.bat文件start-cluster.bat文件但是sql-client的时候又不知道怎么搞，所以最终放弃windows了，在linux下完成了环境搭建，在进行环境搭建的时候遇到了一些问题，特此记录一下。
JSON格式化错误- in unnamed module of loader org.apache.catalina.loader.ParallelWebappClassLoader
王小义笔记
02-24 5899
JSON格式话问题，如果不知道问题在哪里以为是用错了方法，真的浪费不少时间。 in unnamed module of loader org.apache.catalina.loader.ParallelWebappClassLoader
java.lang.LinkageError: loader constraint violation: loader (instance of org/apache/flink/util/Child
weixin_927326的博客
06-26 1375
flink job 打包时，jar包用application运行时报错依赖冲突
Flink的类加载器
从大数据到人工智能的博客
10-16 1234
概览 在运行 Flink 应用程序时，JVM 会随着时间的推移加载各种类。 这些类可以根据它们的来源分为三组： Java Classpath：这是Java的通用类路径，它包括JDK库，以及Flink /lib文件夹中的所有代码（Apache Flink的类和一些依赖）。 Flink 插件组件：插件代码在 Flink 的 /plugins 文件夹下的文件夹中。 Flink 的插件机制会在启动时动态加载一次。 动态用户代码：这些是动态提交的作业的 JAR 文件中包含的所有类（通过 REST、CLI、
java Flink（十七）flink程序打包 单机部署 以及与kafka遇到的那些问题 解决 NoClassDefFoundError 解决无法消费 解决无法加载类用户classloader
qq_40771567的博客
05-08 3443
今天记录一下这两天部署flink程序的过程以及遇到的坑。 首先我的服务是一个flink计算服务，里边用到了kafka、redis等。 一、flink下载安装 https://archive.apache.org/dist/flink/ 点击下载flink版本，这里要选择好自己的flink匹配的hadoop版本以及scala版本。 这里我们选择的是比较稳定的1.7.2 ...
Java遇到java.lang.ClassCastException异常原因和解决办法
weixin_54037546的博客
03-26 4648
java.lang.ClassCastException异常原因和解决办法,org.springframework.boot.devtools.restart.classloader.RestartClassLoader 类转换异常
Flink类加载
不甚了然的博客
05-14 2074
1.配置 以下三个是主要的加载方式配置，其他还有一些插件加载和加载异常处理的配置 1、classloader.resolve-order child-first（默认）、parent-first。从业务代码加载类时的策略，即先检查业务包还是按通常的java加载机制 2、classloader.parent-first-patterns.default 指定哪些类首先通过父类加载器解析，默认主要是java、flink、log4j一系列的 3、classloader.parent-first-patterns.
Flink 中文文档资料.zip
01-17
flink Flink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料.zipFlink 中文文档资料...
flink源码 类UML图
12-20
flink源码 类UML图 可使用PowerDesinger打开
大数据开发｜Flink中的窗口分类和生命周期
11-06
在我们日常使用flink这个框架的过程中，我们会经常使用到窗口，让我们通过下面这篇文章，快速回顾总结一下吧。 Flink 是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。想要更加方便高效地...
c语言开发图书管理系统项目源码+数据+可运行程序
05-01
c语言开发图书管理系统项目源码+数据+可运行程序 主要功能有：1、以管理员或读者不同身份注册账户。2、登录、找回密码、修改密码。3、管理员：图书入库，清除库存，统计书籍数量，统计读者借书情况，在馆书籍排序，读者排序。4、读者：查看个人借阅信息，借书，还书，按书名、作者、出版社检索图书，查询全部在馆图书。
基于transformer的多模态脑肿瘤分割.zip
最新发布
05-01
本项目旨在利用Transformer模型实现多模态脑肿瘤分割。多模态脑肿瘤分割对于脑肿瘤的诊断和治疗具有重要意义。 我们采用Transformer模型，通过分析脑部MRI、CT、PET等不同模态的医学影像数据，实现对脑肿瘤区域的自动分割。项目使用的数据集包括公开的脑肿瘤影像数据集，如BRATS、Medical Segmentation Decathlon等，并进行了预处理，包括图像增强、分割和特征提取等。 在运行环境方面，我们使用Python编程语言，基于TensorFlow、PyTorch等深度学习框架进行开发。为了提高计算效率，我们还使用了GPU加速计算。此外，我们还采用了Docker容器技术，确保实验结果的可重复性。 项目完成后，将实现对多模态脑肿瘤的快速、准确分割，为脑肿瘤的诊断和治疗提供有力支持。同时，项目成果也可应用于其他医学影像分析领域。
马尔文高浓度池说明书 High Concentration Cell (ZEN1010)
05-01
马尔文高浓度池说明书 High Concentration Cell (ZEN1010)
如何提高APP商业变现能力.docx
05-01
如何提高APP商业变现能力.docx
node-v12.20.0-darwin-x64.tar.xz
05-01
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
flink flink类加载器原理与隔离
12-01
在flink中，每个作业都会有自己的类加载器，这样可以保证不同作业之间的类不会相互干扰。同时，flink还提供了隔离的任务管理器和资源调度器，确保每个作业都能够独立运行和调度资源，避免互相影响。此外，flink还...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值