Flink部署单机运行jar包时报Unable to instantiate java compiler

最新推荐文章于 2023-03-17 09:58:22 发布
最新推荐文章于 2023-03-17 09:58:22 发布
阅读量1.4k 收藏 1
点赞数
分类专栏： # Flink 文章标签： flink jar java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43113679/article/details/120662725
版权

场景:自己在测试环境部署了一套flink单机运行环境，在运行jar包时会报Unable to instantiate java compiler 异常

原因：有jar报冲突，flink-table-planner 在运行环境上有，jar包中就不用带着了，只需要设置<scope>provided</scope>就可以了

flink官方文档中介绍flink-table-planner怎么设置

胖墩的IT
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink依赖jar包——解决NoClassDefFoundError: com/sun/jersey
01-22
当flink on yarn模式运行时，发生如下异常信息，需要将压缩包中的4个依赖jar包放入flink安装路径下的lib目录下。 Exception in thread "main" java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig at org.apache.hadoop.yarn.client.api.TimelineClient.createTimelineClient(TimelineClient.java:45) at org.apache.hadoop.yarn.client.api.impl.YarnClientImpl.serviceInit(YarnClientImpl.java:163) at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:150) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) ... Caused by: java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig
flink连接器jar包.rar
最新发布
04-11
标题 "flink连接器jar包.rar" 暗示了我们正在讨论Apache Flink的数据连接器，这是一个关键组件，允许Flink与各种数据源和数据接收器进行交互。Flink作为一个强大的流处理和批处理框架，其连接器是实现数据输入和输出...
FLINK 1.9.2 提交 table API 失败
weixin_38631716的博客
05-13 1546
错误信息如下 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:621) at org.apache.flink...
Flink设置加载jar顺序
木卫二号的专栏
04-18 2690
Flink设置加载jar顺序 以下异常信息 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler ... Caused by: java.lang.IllegalStateException: Unable to instantiate java compiler ... Caused by: java.l
flink 1.11连接hive，报错unable to instantiate java compiler
weixin_38472282的博客
10-27 2099
报错原因，hive的版本冲突，把下面的依赖打包时，不要打进去，直接加 provided ，并在flink 的lib中加入这几个包 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-table-planner-blink_2.11</artifactId> <version>${f..
flink sql包冲突异常
热门推荐
帆了个帆的专栏
04-21 1万+
使用flink on yarn方式提交Flink sql，抛出如下异常 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.apache.flink.client.progr...
Flink异常笔记
sunyaox的博客
06-22 1076
这里写自定义目录标题Flink异常笔记20210622 Flink异常笔记 20210622 1.The main method caused an error: Unable to instantiate java compiler org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler at org.a
【Flink异常】Unable to instantiate java compiler
search-lemon的博客
06-22 4726
文章目录1. 异常详情2. 原因3. 解决办法 1. 异常详情 java.lang.IllegalStateException: Unable to instantiate java compiler at org.apache.calcite.rel.metadata.JaninoRelMetadataProvider.compile(JaninoRelMetadataProvider.java:428) ~[flink-table-blink_2.11-1.12-SNAPSHOT.jar:1.12-S
ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler
weixin_44904163的博客
02-21 2645
背景 在 Flink集群 运行jar包时，抛出异常 Flink run -m yarn-cluster xxx.jar 解决办法 由于jar包冲突，需要去除掉自己打的 jar 包，中的部分依赖 像下面这样子，都过滤掉，不知道具体过滤哪些的话，可以看你 flink\ lib 目录下 ...
datax打包出现Unable to locate the Javac Compiler in: /usr/lib/jvm/java-7-openjdk-amd64/jre/../lib/tool
啊谋的博客
09-07 334
datax打包出现： Compilation failure Unable to locate the Javac Compiler in: /usr/lib/jvm/java-7-openjdk-amd64/jre/../lib/tools.jar Please ensure you are using JDK 1.4 or above and not a JRE (the com.sun.tools.javac.Main class is required). In most cases yo.
Flink打包生成安装包缺少jar包
weixin_30906185的博客
02-23 725
官方默认打包生成的安装包的flink-release-1.7.0\flink-dist\target\flink-1.7.0-bin\flink-1.7.0\lib下缺少jar flink-dist项目修改两个配置文件，添加需要打入到安装包的jar包 flink-release-1.7.0\flink-dist\src\main\assemblies\bin.xml &l...
flink1.14.3 cdc jar包
03-13
Flink 1.14.3 CDC (Change Data Capture) jar 包集合是用于实时数据流处理的一个关键组件，尤其在大数据领域，它扮演着捕捉数据库变化并将其转化为可操作流的角色。以下是对这些jar包及其相关的技术进行的详细解释：...
dinky依赖flink1.14.6相关jar包
05-25
flink-doris-connector-1.14_2.12-1.1.1.jar、flink-sql-connector-mysql-cdc-2.1.1.jar、dlink-connector-jdbc-1.14-0.7.2.jar、mysql-connector-java-5.1.27-bin.jar、flink-faker-0.5.0.jar、flink-connector-...
数据湖 paimon flink 0.5版本 jar 包
11-08
使用Flink操作Paimon 数据湖 时需要用到的jar包。
Springboot集成Flink——本地方式运行Flink jar包
Aspirin's Nest
05-18 6388
前言 首先有一个问题，Flink程序可以在idea中正常运行，但是将Flink打成jar包，使用java -jar的方式运行jar包就会报错。这个问题一直没有解决。 正好最近遇到这样一个场景，需要将flink程序集成到Springboot程序中（不要问为啥要在本地执行flink程序，不上集群），集成完以后没想到效果出奇的好，Springboot程序可以正常运行，flink程序也可以通过jar的方式启动了。 下面是集成过程。 Springboot集成Flink 第一步，创建Springboot项目。
flink运行jar时找不到配置文件
zhizhi120的博客
03-17 716
flink任务通过读取配置的方式来运行程序，写好一个模板每次只需要通过修改配置文件重新压缩成jar之后即可。一定要配置resources目录，不然的话程序在flink中找不到properties文件。
Flink上部署jar包运行报错解决【flink-1.12.3】
qq_38289091的博客
07-07 4309
前言：本地IDEA运行没有问题，部署到flink上就报错，无法启动。如果你的JOB任务是DataStreamAPI写的不会有这个问题，我出现的问题是job任务是用tableAPI写的。 我pom文件的flink版本是1.13.0 部署的flink版本是flink-1.12.3 多嘴一句，我看网上的pom文件配置五花八门。啥样的都有，实在不知道该选择哪种。有的说需要打包的时候需要进行<scope>provided</scope>，反正我是没有。调试后，本地和flink上都可以
mvn 项目运行报错：NoClassDefFoundError
Faker_Second的博客
12-19 589
【代码】mvn 项目运行报错：NoClassDefFoundError。
flink打包运行
cobracanary的博客
04-30 5846
一个简单的flink打包运行的demo 第一步：环境准备 首先你要有个flink运行环境，我这里是使用虚拟机搭建的单机模式，启动flink，在8081端口就可以看见flink UI，在这里就可以进行flink作业的管理： 第二步：flink代码的编写 我使用flink SQL编写的代码，代码很简单，使用SQL读入kafka中一个topic的消息，写入另一个kafka topic中： package com.ms.flinksql; import org.apache.flink.table.api..
flink java.lang.outofmemoryerror: unable to create new native thread
11-19
Flink应用程序在运行过程中出现java.lang.OutOfMemoryError: unable to create new native thread错误，表示操作系统无法创建新的本地线程。 这个错误通常是由于系统的线程资源被耗尽导致的。每个应用程序通常有一个线程池用于管理线程，当需要创建新的线程时，操作系统会分配一定数量的本地线程资源。如果应用程序需要创建的线程超过了系统能提供的本地线程资源数量，就会导致该错误的发生。 解决这个问题有以下几个方法： 1. 调整系统的线程资源：对于Linux/Unix系统，可以使用ulimit命令或者修改/etc/security/limits.conf文件来增加系统的线程资源限制。对于Windows系统，可以通过修改注册表来调整系统的线程资源。 2. 优化应用程序的线程使用：检查应用程序是否存在线程泄漏或者线程创建过多的情况。可以通过分析堆栈信息来确定具体是哪些线程导致了该错误，然后针对性地进行优化。 3. 增加集群的线程资源：如果应用程序运行在分布式集群中，可以增加集群的线程资源来解决该问题。可以通过配置Flink的TaskManager线程池大小来增加线程资源。 总之，解决Flink应用程序中出现java.lang.OutOfMemoryError: unable to create new native thread错误，需要调整系统的线程资源限制，优化应用程序的线程使用，或者增加集群的线程资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值