Flink 提交任务报Cannot have more than one execute() or executeAsync() call in a single environment

已于 2022-08-02 11:46:17 修改
阅读量2.1k 收藏 1
点赞数
分类专栏： flink 文章标签： flink 大数据
于 2022-08-02 11:40:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nan123456789/article/details/126119150
版权

flink在本地运行没问题，但是通过flink页面提交任务就会Cannot have more than one execute() or executeAsync() call in a single environment

出现这个错误主要是

flink内部默认会使用全局任务链，每次提交任务，如果存在该任务就会获取到同一个任务执行器，这样就会出现同一个任务多个地方执行execute(),就会报上面这个错。报异常源代码主要在这里：

所以在执行execute()之前加上这一行代码就行：

nan123456789
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink-spark-submiter:从本地IDEA提交FlinkSpark任务到Yarnk8s集群
04-13
Flink任务、Spark任务提交到集群，通常需要将可执行Jar上传到集群，手动执行任务提交指令，如果有配套的大数据平台则需要上传Jar，由调度系统进行任务提交。 对开发者来说，本地IDEA调试Flink、Spark任务不涉及对象...
基于Flink+Alink构建全端亿级实时用户画像系统视频教程
11-29
给大家分享一套课程——基于Flink+Alink构建全端亿级实时用户画像系统课程，本课程采用全新的大数据技术栈：Flink+Alink,让你体验到全新技术栈的强大，感受时代变化的气息，通过学习完本课程可以节省你摸索的时间，...
flink sql报错Cannot have more than one execute() or executeAsync() call in a single environment
最新发布
weixin_41745141的博客
01-12 751
执行flink sql时报错Cannot have more than one execute() or executeAsync() call in a single environment。
Flink任务报Cannot have more than one execute() or executeAsync() call in a single environment
一个不安分的程序员
02-23 4999
问题描述： 使用Flink 1.12开发的任务在本地IDEA中可以正常运行，发布到集群上报如下错误： java.util.concurrent.CompletionException: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application at java.util.concurrent.CompletableFuture.encodeThr
AsyncTask时异常： Cannot execute task: the task has already been executed (a task can be executed only o
sunalongl的专栏
04-03 7977
使用AsyncTask时有一个破异常，这个异常让我从AsyncTask转到Handler  Cannot execute task: the task has already been executed (a task can be executed only once) 看官方文档，提示： Open Declaration AsyncTask, BitmapPosition, Void
Flink 源码解析--Async IO的实现
METON的博客
10-12 488
在使用Flink处理实时数据流时，经常需要和外部系统进行交互。例如，在构建实时数据仓库的时候，通常需要将消息和外部维表进行关联，以获得额外的维度数据。由于外部系统的响应时间和网络延迟可能会很高，如果采用同步调用的方式，那么外部调用的高延迟势必会影响到系统的吞吐量，进而成为系统的瓶颈。这种情况下，我们需要采用异步调用的方式。异步调用相比于同步调用，不同请求的等待时间可以重叠，从而提升了吞吐率。 Async I/O的使用方式 在Flink中使用Async I/O的话，需要有一...
flink错误本-错误记录
热门推荐
epitomizelu的专栏
04-21 1万+
1，flink集群启动失败。 原因：从node1分发到其他节点，在node1上建立了到flink的软连接，使用软连接来操作。分发到其他服务器后，并没有建立软连接。导致集群启动失败，甚至影响了虚拟机的运行，导致虚拟机假死。 ...
Flink源码剖析：Flink Async I/O的三种模式
welcome to daijiguo's blog
06-16 1449
文章目录1. 维表join2. richmapfunction2.1 示例3. asyncio3.1 示例3.2 Ordered模式3.2.1 生产3.2.2 消费3.3 基于processtime的unordered模式3.3.1 生产3.3.2 消费3.4 基于eventTime的unordered模式3.4.1 生产3.4.2 消费4. 总结 1. 维表join 流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求，然
flink开发落到hdfs文件处于in-progress状态文件处理办法
10-31
flink开发Streaming File sink文件处于in-progress中间状态处理办法，hadoop,hdfs
基于Flink+Alink构建电商全端智能AI个性化实时推荐系统
06-19
Alink是阿里巴巴开源的机器学习库，专门设计用于与Flink结合，实现大规模在线机器学习任务。它提供了丰富的机器学习算法，如协同过滤、深度学习模型等，便于在流处理环境中进行实时预测和模型更新。 **推荐系统原理...
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring...
Flink原理分析--Flink任务执行总体流程
zg_hover的专栏
11-26 3382
Flink任务执行总体流程 本文描述一个Flink任务执行的总体流程的前半部分，执行环境的选择。 Flink任务的一个例子 public class SocketWindowWordCount { public static void main(String[] args) throws Exception { // the port to connect to final int port; try { final Par
Flink案例系列2-提交到yarn集群报错java.lang.NoClassDefFoundError FlinkKafkaConsumer
只是甲的博客
11-16 3882
文章目录一.问题描述二.解决方案2.1 代码的问题？2.2 maven依赖的问题2.3 手工上传jar包2.3.1 上传FlinkKafkaConsumer相关的jar包2.3.2 上传FlinkKafkaConsumerBase相关的jar包 一.问题描述 环境介绍: CDH 6.3.1集群 Flink版本 1.9.0 Kafka版本 2.12 本地运行无问题，提交到yarn集群报错 代码: package org.example; /* @author 只是甲 * @date 2021-
并发任务执行
qq_38684512的博客
08-16 128
只运行一次只运行一次仅需任意任务完成所有任务的完成注意 只运行一次 package singleton import ( "fmt" "sync" "testing" "unsafe" ) //go如何完成常见的并发任务 在Go语言中如何实现这样的并发任务 //仅仅执行一次 多线程环境下，某段代码，只执行一次 //有方 法保证里面的函数在多线程环境下只会被运行一次 type Singleton struct { } var singleInstance *Singleton var onc
Flink源码篇 No.3-任务提交之执行用户作业（per-job on yarn）
pezynd的专栏
10-07 391
第4章 执行用户程序 4.1env.execute()执行用户程序 org.apache.flink.streaming.api.environment.StreamExecutionEnvironment#execute(java.lang.String) public JobExecutionResult execute(String jobName) throws Exception { Preconditions.checkNotNull(jobName, "Streaming Job .
【API篇】一、Flink执行环境API
llg___的博客
10-13 320
写完输出（sink）操作并不代表程序已经结束，因为当main()方法被调用时，其实只是定义了作业的每个执行操作，然后添加到数据流图中，这时并没有真正处理数据，因为数据可能还没来。Flink是由事件驱动的，只有等到数据到来，才会触发真正的计算，这也被称为。Flink的程序可以在各种上下文环境中运行，比如本地JVM中执行，也可以提交到远程集群中运行，分别对应着不同的Flink的运行环境，获取这个执行环境，也就是StreamExecutionEnvironment类的对象。前者用的更多，不推荐硬编码。
FlinkYARN 模式部署运行作业
Appreciate(欣赏)
04-16 540
⚫ -d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数， 即使关掉当前对话窗口，YARN session 也可以后台运行。支持，需要自行在官网下载 Hadoop 相关版本的组件 flink-shaded-hadoop-2-uber-2.7.5-10.0.jar，1、按照 3.1 节所述，下载并解压安装包，并将解压后的安装包重命名为 flink-1.13.0-yarn，4、执行Flink命令向 YARN 集群申请资源，开启一个 YARN 会话，启动 Flink 集群。
vba for wps 7.0_两表数据核对，WPS表格真香
weixin_39805387的博客
11-09 756
小伙伴们好啊，前两天咱们分享了关于数据对比的两期内容，分别是VBA法和Power Query法(点击蓝色文字可查看具体内容)。实话实说，这些方法的使用过程确实有些复杂。相比之下，WPS的数据对比功能就很人性化了。接下来咱们就以下面这组数据为例，来看看WPS的数据对比功能到底怎么样。一：高亮显示两表都有的数据二：高亮显示两表唯一的数据三：提取两表都有的数据四：提取两表唯一的数据以上这些操作...
Flink基础概念及算子
m0_57697768的博客
06-08 2948
无界数据流例如从Kafka这样的消息组件中读取的数据一般，没有数据流结束的定义，即使没有数据也在进行消费。有界数据流有界数据流能够等到所有数据都提取之后再进行处理。有状态流处理将数据的中间状态进行存储，能够重复使用该状态进行处理。Flink的特点Flink计算模型流计算微批处理时间语义事件时间、处理时间处理时间窗口多、灵活少、不灵活（窗口必须是批次的整数倍）状态有没有流式SQL有没有Flink分层API//todo Watersensor Pojo对象。
flink提交任务命令
04-25
要提交 Flink 任务，可以使用以下命令： ``` ./bin/flink run -c com.example.MyMainClass my-flink-job.jar ``` 其中，`com.example.MyMainClass` 是你要运行的 Flink 任务的入口类，`my-flink-job.jar` 是包含该入口类和其他依赖项的可执行 JAR 包。你可以根据需要替换这些值。 此外，你还可以使用其他标志和选项来自定义 Flink 任务的行为，比如设置任务名称、指定并行度等。具体内容请查看 Flink 官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值