flinkclass org.codehaus.janino.CompilerFactory cannot be cast to class org.codehaus.commons.compiler

最新推荐文章于 2024-07-18 16:26:41 发布
最新推荐文章于 2024-07-18 16:26:41 发布
阅读量256 收藏
点赞数 4
文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56161419/article/details/137273467
版权
文章描述了在部署ApacheFlinkSQL任务时遇到的程序调用异常，原因是由于不同类加载器导致的类型不兼容。解决方法是在flink-conf.yaml中设置`classloader.resolve-order:parent-first`以确保类由同一加载器加载，避免类冲突。
摘要由CSDN通过智能技术生成

flinkSQL任务部署报错
 

org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:372)
        at org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:222)
        at org.apache.flink.client.ClientUtils.executeProgram(ClientUtils.java:98)
        at org.apache.flink.client.cli.CliFrontend.executeProgram(CliFrontend.java:843)
        at org.apache.flink.client.cli.CliFrontend.run(CliFrontend.java:240)
        at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1087)
        at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1165)
        at org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:28)
        at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1165)
Caused by: java.lang.IllegalStateException: Unable to instantiate java compiler
        at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.compile(JaninoRelMetadataProvider.java:428)
        at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.load3(JaninoRelMetadataProvider.java:374)
        at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.lambda$static$0(JaninoRelMetadataProvider.java:109)
        at org.apache.flink.calcite.shaded.com.google.common.cache.CacheLoader$FunctionToCacheLoader.load(CacheLoader.java:165)
        at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$LoadingValueReference.loadFuture(LocalCache.java:3529)
        at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$Segment.loadSync(LocalCache.java:2278)
        at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$Segment.lockedGetOrLoad(LocalCache.java:2155)
        at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$Segment.get(LocalCache.java:2045)
        at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache.get(LocalCache.java:3951)
        at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache.getOrLoad(LocalCache.java:3974)
        at org.apache.flink.calcite.shaded.com.google.common.cache.LocalCache$LocalLoadingCache.get(LocalCache.java:4958)
        at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.create(JaninoRelMetadataProvider.java:469)
        at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.revise(JaninoRelMetadataProvider.java:481)
        at org.apache.calcite.rel.metadata.RelMetadataQueryBase.revise(RelMetadataQueryBase.java:95)
        at org.apache.calcite.rel.metadata.RelMetadataQuery.getPulledUpPredicates(RelMetadataQuery.java:784)
        at org.apache.calcite.rel.rules.ReduceExpressionsRule$ProjectReduceExpressionsRule.onMatch(ReduceExpressionsRule.java:303)
        at org.apache.calcite.plan.AbstractRelOptPlanner.fireRule(AbstractRelOptPlanner.java:333)
        at org.apache.calcite.plan.hep.HepPlanner.applyRule(HepPlanner.java:542)
        at org.apache.calcite.plan.hep.HepPlanner.applyRules(HepPlanner.java:407)
        at org.apache.calcite.plan.hep.HepPlanner.executeInstruction(HepPlanner.java:243)
        at org.apache.calcite.plan.hep.HepInstruction$RuleInstance.execute(HepInstruction.java:127)
        at org.apache.calcite.plan.hep.HepPlanner.executeProgram(HepPlanner.java:202)
        at org.apache.calcite.plan.hep.HepPlanner.findBestExp(HepPlanner.java:189)
        at org.apache.flink.table.planner.plan.optimize.program.FlinkHepProgram.optimize(FlinkHepProgram.scala:64)
        at org.apache.flink.table.planner.plan.optimize.program.FlinkHepRuleSetProgram.optimize(FlinkHepRuleSetProgram.scala:78)
        at org.apache.flink.table.planner.plan.optimize.program.FlinkChainedProgram.$anonfun$optimize$1(FlinkChainedProgram.scala:59)
        at scala.collection.TraversableOnce.$anonfun$foldLeft$1(TraversableOnce.scala:156)
        at scala.collection.TraversableOnce.$anonfun$foldLeft$1$adapted(TraversableOnce.scala:156)
        at scala.collection.Iterator.foreach(Iterator.scala:937)
        at scala.collection.Iterator.foreach$(Iterator.scala:937)
        at scala.collection.AbstractIterator.foreach(Iterator.scala:1425)
        at scala.collection.IterableLike.foreach(IterableLike.scala:70)
        at scala.collection.IterableLike.foreach$(IterableLike.scala:69)
        at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
        at scala.collection.TraversableOnce.foldLeft(TraversableOnce.scala:156)
        at scala.collection.TraversableOnce.foldLeft$(TraversableOnce.scala:154)
        at scala.collection.AbstractTraversable.foldLeft(Traversable.scala:104)
        at org.apache.flink.table.planner.plan.optimize.program.FlinkChainedProgram.optimize(FlinkChainedProgram.scala:55)
        at org.apache.flink.table.planner.plan.optimize.StreamCommonSubGraphBasedOptimizer.optimizeTree(StreamCommonSubGraphBasedOptimizer.scala:176)
        at org.apache.flink.table.planner.plan.optimize.StreamCommonSubGraphBasedOptimizer.doOptimize(StreamCommonSubGraphBasedOptimizer.scala:83)
        at org.apache.flink.table.planner.plan.optimize.CommonSubGraphBasedOptimizer.optimize(CommonSubGraphBasedOptimizer.scala:87)
        at org.apache.flink.table.planner.delegation.PlannerBase.optimize(PlannerBase.scala:315)
        at org.apache.flink.table.planner.delegation.PlannerBase.translate(PlannerBase.scala:195)
        at org.apache.flink.table.api.internal.TableEnvironmentImpl.translate(TableEnvironmentImpl.java:1733)
        at org.apache.flink.table.api.internal.TableEnvironmentImpl.executeInternal(TableEnvironmentImpl.java:825)
        at org.apache.flink.table.api.internal.TableEnvironmentImpl.executeInternal(TableEnvironmentImpl.java:918)
        at org.apache.flink.table.api.internal.TableEnvironmentImpl.executeSql(TableEnvironmentImpl.java:730)
        at com.idea.flink.demo.FlightDynDataFromFengyi.main(FlightDynDataFromFengyi.java:190)
        at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:64)
        at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.base/java.lang.reflect.Method.invoke(Method.java:564)
        at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:355)
        ... 8 more
Caused by: java.lang.ClassCastException: class org.codehaus.janino.CompilerFactory cannot be cast to class org.codehaus.commons.compiler.ICompilerFactory (org.codehaus.janino.CompilerFactory is in unnamed module of loader org.apache.flink.util.ChildFirstClassLoader @7164ca4c; org.codehaus.commons.compiler.ICompilerFactory is in unnamed module of loader 'app')
        at org.codehaus.commons.compiler.CompilerFactoryFactory.getCompilerFactory(CompilerFactoryFactory.java:129)
        at org.codehaus.commons.compiler.CompilerFactoryFactory.getDefaultCompilerFactory(CompilerFactoryFactory.java:79)
        at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.compile(JaninoRelMetadataProvider.java:426)
        ... 60 more

这种问题由类加载问题引起，不同的类加载器独立加载相同的类，导致类型不兼容。

要解决这个问题，需要确保两个类由同一个类加载器加载。

在flink-conf.yaml文件下加入以下配置

classloader.resolve-order: parent-first

parent-first 表示 Flink 的类加载器将优先从父级类加载器中查找类。意思为当 Flink 需要加载类时，首先会尝试使用系统类加载器或父级类加载器加载，然后才会尝试使用 Flink 的自定义类加载器。通常用于避免类冲突。

muce
关注
  • 4
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Linux环境下安装FLink1.10.0并启动SQL-client读取Hive1.2.1的数据
wangyu_qiuxue的博客
04-06 2889
Linux环境下安装FLink1.10.0并启动SQL-client读取Hive数据 首先去官网下载Flink1.10.0的tgz的包，教程如上篇文章上半部分流程一样，然后配置一下FLINK_HOME/conf/sql-client-defaults.yaml： catalogs: - name: myhive #自己定个名字就行 type: hive hive-co...
ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compi
z1012890225的专栏
04-27 3018
使用flink on yarn方式提交Flink sql，抛出如下异常 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:3
【org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFacto】
qq_43660215的博客
07-26 1639
flink作业打包问题
org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory
微电子学与固体电子学-俞驰
12-23 6176
问题是在Flink SQL Client中碰到的 Flink SQL> select * from orders; [ERROR] Could not execute SQL statement. Reason: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory 这个问题真的让我心态很崩。
flink sql on yarn报错： org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.comp
小蚯蚓的博客
07-29 1520
一、问题描述 使用flink on yarn方式提交Flink sql，抛出如下异常 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.j
flink sql包冲突异常
热门推荐
帆了个帆的专栏
04-21 1万+
使用flink on yarn方式提交Flink sql，抛出如下异常 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.progr...
Flink 包冲突引起的报错
JINGCHENG_XIE的博客
05-19 1851
java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.com 解决方法：以下三个包加上 <scope>provided</scope>，不要打包进Jar <dependency> <groupId>org.apache.flink</groupId> <artifa.
commons-compiler-3.1.2-API文档-中文版.zip
06-06
Maven坐标：org.codehaus.janino:commons-compiler:3.1.2； 标签：codehaus、janino、commons、compiler、中文文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档...
commons-compiler-2.7.6-API文档-中文版.zip
04-23
Maven坐标：org.codehaus.janino:commons-compiler:2.7.6； 标签：codehaus、compiler、commons、janino、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可...
commons-compiler-3.0.8-API文档-中英对照版.zip
04-22
Maven坐标：org.codehaus.janino:commons-compiler:3.0.8； 标签：codehaus、compiler、commons、janino、jar包、java、API文档、中英对照版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，...
commons-compiler-3.0.16-API文档-中英对照版.zip
07-04
Maven坐标：org.codehaus.janino:commons-compiler:3.0.16； 标签：codehaus、janino、commons、compiler、中英对照文档、jar包、java； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览...
commons-compiler-3.0.8-API文档-中文版.zip
05-02
Maven坐标：org.codehaus.janino:commons-compiler:3.0.8； 标签：codehaus、compiler、commons、janino、jar包、java、中文文档； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档...
flijnk异常Caused by: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast ...
微信公众号：大数据从业者
08-06 1932
详细报错日志 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.program.PackagedProgram.callMai...
启动flink时遭遇类型转换异常无法解决？
chunsheng3307的博客
06-13 1737
一、现象 启动flink时遭遇类型转换异常，异常信息如下： java.lang.ClassCastException: class [B cannot be cast to class [C ([B and [C are in module java.base of loader...
Flink CDC 同步表至Paimon 写数据流程，write算子和commit算子。
weixin_47467016的博客
07-14 740
流程图一般基本flink cdc 任务同步数据至paimon表时包含3个算子，source、write、global commit。source端一般是flink connector实现的连接源端进行获取数据的过程，本文探究的是source算子获取的到数据如何传递给writer算子？writer算子如何写数据？global commit算子做了什么事情？第一问：默认根据primary key的hash值决定往哪个桶写入，一个桶对应了一个lsm tree writer。
当在使用flinksql的left join出现撤回流该如何解决？
weixin_64261178的博客
07-15 1021
在 Flink SQL 中，INNER JOIN、RIGHT JOIN 和 FULL OUTER JOIN 操作会因为数据变化而产生撤回流。这是为了确保流处理的结果一致性和准确性。在设计流处理应用时，需要考虑这些撤回流的影响，选择合适的 sink connector，例如 upsert-kafka，以正确处理这些操作
68、Flink DataStream Connector 之文件系统详解
猫猫爱吃小鱼粮
07-15 1131
Flink DataStream Connector 之文件系统详解
Flink HA
最新发布
L
07-18 580
bigdata111和bigdata112作为master节点，也就是实现JobManager的高可用。bigdata112和bigdata113作为worker节点，作为TaskManager节点。Flink HA集群使用ZooKeeper和HDFS实现。所以需要ZooKeeper集群和HDFS集群。执行zkCli.sh命令连接ZooKeeper集群，最终查找到当前Flink中active JobManager是bigdata111。active JobManager节点已经切换到bigdata112。
72、Flink 的 DataGen 连接器详解
猫猫爱吃小鱼粮
07-17 297
Flink 的 DataGen 连接器详解
Flink 1.15版本，报错：Caused by: java.lang.ClassCastException: org.codehaus.janino.CompilerFactory cannot be cast to org.codehaus.commons.compiler.ICompilerFactory
06-09
这个错误通常是由于 Flink 的依赖库版本不兼容造成的。可能是因为 Flink 1.15 版本使用了一个较新的版本的 org.codehaus.janino.CompilerFactory，而你的代码中使用了一个旧的版本的 org.codehaus.commons.compiler.ICompilerFactory。 为了解决这个问题，你可以尝试升级你的依赖库版本，或者检查你的代码中是否有与 Flink 1.15 版本不兼容的依赖库。如果这些方法都不能解决问题，你可以尝试在 Flink 中手动指定正确的 CompilerFactory 实现，或者在你的代码中手动加载正确的 ICompilerFactory 实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值