Flink : Cannot find compatible factory for specified execution.target (=local)

最新推荐文章于 2023-06-05 14:05:33 发布
最新推荐文章于 2023-06-05 14:05:33 发布
阅读量1.4k 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105145066
版权
大数据-flink 专栏收录该内容
854 篇文章 856 订阅 ¥99.90 ¥299.90
订阅专栏
本文记录了一次将Flink从1.9版本升级到1.10版本后遇到的问题。在升级过程中，程序报出'Cannot find compatible factory for specified execution.target (=local)'的错误。通过调试，作者发现'local'是由于某个配置传入的，并且发现Spring的2.2.2.RELEASE包不在依赖中，可能是由于引包问题导致。尽管未明确指出具体缺失哪个包，但可以确定是包依赖管理出现了问题。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2.背景

一个写的好好地flink程序，原本是 1.9开发的，现在升级到1.10然后报错
在这里插入图片描述

首先这个local是从哪里来的？调试的时候，发现是一个叫 execution.target 传进来的

在这里插入图片描述
那么设置这两个值得地方在哪呢？

public LocalStreamEnvironment(
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink: Could not find any factory for identifier kafka/jdbc/hive implements DynamicTableFactory 根治方法
Laurence的技术博客
04-25 1421
运行 Flink 应用或执行 Flink SQL 时会经常遇到下面的错误：org.apache.flink.table.api.ValidationException: Could not find any factory for identifier kafka jdbc hive hudi mysql-cdc that implements ‘org.apache.flink.table.factories.DynamicTableFactory’ in the classpath.
【FlinkSQL】ValidationException: Could not find any factory for identifier ‘kafka‘
一杯咖啡半杯糖的博客
07-14 2539
flinksql程序编写create语句遇到下面问题 Caused by: org.apache.flink.table.api.ValidationException: Cannot discover a connector using option: 'connector'='kafka' at org.apache.flink.table.factories.FactoryUtil.enrichNoMatchingConnectorError(FactoryUtil.java:367) at
Flink 1.10: Cannot find compatible factory for specified execution.target (=local)
xiaozhaoshigedasb的博客
04-09 2286
         flink1.10的一个本地Demo测试过程中出现的一个问题，很简单的一段Word Count问代码： package flink.io import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ objec...
Cannot find compatible factory for specified execution.target (=local)
鹜骜的博客
05-20 245
注释掉pom文件里面的 provided，因为provided表明该包只在编译和测试的时候用的。
flink Cannot find compatible factory for specified execution.target (=local)
H.king的博客
05-14 401
初入 flink wordcount 报错如下 /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=56188:/Applications/IntelliJ IDEA.app/Contents/bin" -Dfile.encoding=UTF-8 -clas...
Cannot find a compatible Vulkan driver (ICD). Please look at the Getting Started guide for additiona
weixin_43290709的博客
12-05 5374
Cannot find a compatible Vulkan driver (ICD). Please look at the Getting Started guide for additional information.
ubuntu下运行UE打包的工程，出现“Cannot find a compatible Vulkan device or driver”报错的解决方案（vulkan无法正常加载）
jz342401的博客
10-25 6092
ubuntu系统一种显卡驱动异常的解决方案
Flink 本地执行入门
qq_34936033的博客
05-15 606
一、maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <flink.version>1.6.3</flink.version> <java.version>1.8</j...
项目案例：Flink1.14 SQL实现Window TOPN
大数据研习社
05-12 1273
在Flink1.13版本中，提出了窗口表值函数（Window TVF）的实现，用于替代旧版的窗口分组（group window）语法，极大简化了Flink SQL代码量，同时提高了执行性能。
Flink1.15源码解析--任务提交流程----flink run
chbxw
11-11 1217
flink-1.15源码解析-- 任务提交
flink 作业提交流程
weixin_39856351的博客
12-09 2953
之前给大家介绍了DataStream API中 Environment 和 Transformation 连个体系的源代码，今天来了小插曲，给大家宏观介绍下 Flink 作业的提交流程，希望对大家有帮助。 一、DataStream 作业提交流程 1）、首先，先给大家展示下流程图： 2）、提交流程说明： FlinkCli 先创建一个 Flink 环境变量 然后将环境变量存入到ThreadLocal中 在启动 Flink 作业jar包的 main 方法 Flink 应用程序通过 StreamExecution
Flink SQL CDC 上线
Baron_ND的博客
11-12 627
01 项目背景 本人目前参与的项目属于公司里面数据密集、计算密集的一个重要项目，需要提供高效且准确的 OLAP 服务，提供灵活且实时的报表。业务数据存储在 MySQL 中，通过主从复制同步到报表库。作为集团级公司，数据增长多而且快，出现了多个千万级、亿级的大表。为了实现各个维度的各种复杂的报表业务，有些千万级大表仍然需要进行 Join，计算规模非常惊人，经常不能及时响应请求。 随着数据量的日益增长和实时分析的需求越来越大，急需对系统进行流式计算、实时化改造。正是在这个背景下，开始了我们与 Flink S
flink-1.10 统一作业提交逻辑
yuchuanchen的专栏
02-25 2151
文章目录1.FLIP-73 : 通用的 Executor 接口2.FLIP-81：Executor 相关的新配置3.FLINK-74：Flink JobClient API flink-1.10 之前，任务提交通常遇到以下问题： 任务提交由 Execution Environments 负责，并且和部署的环境(yarn k8s mesos)高度绑定，导致最终 Execution Environm...
Flink源码阅读之基于Flink1.10的任务提交流程
weixin_41608066的博客
04-16 1750
Flink在1.10版本对整个作业提交流程有了较大改动，详情请见FLIP-73。本文基于1.10对作业提交的关键流程进行分析，不深究。 入口： 依旧是main函数最后env.execute(); public JobExecutionResult execute(String jobName) throws Exception { Preconditions.checkNotNull(jobN...
Flink电商分析问题解决记录——用户行为分析
江南T雨
08-30 275
问题描述：电商分析范例工程采用Flink 1.7.2开发，而且部分代码使用scala。适应新版本Flink1.11和代码改写成Java是主要要解决的问题。
Flink迷你集群及默认参数简单介绍：
u013558123的博客
06-05 1073
Flink迷你集群及默认参数简单介绍：
flink启动命令分析
杜海的博客
10-14 3339
flink启动命令分析 1. flink启动命令的固定格式 ./flink <ACTION> [OPTIONS] [ARGUMENTS] 2 <ACTION>种类 run 编译和运行一个程序。 run-application 在应用模式下运行一个应用程序 info 显示程序的优化执行计划（JSON）。 list 列出正在运行的和计划中的程序。 stop 用一个保存点停止一个正在运行的程序（只限于流式工作）。 cancel 取消一个正在运行的程序 savepoi
Flink 原理与实现：架构和拓扑概览
weixin_34364135的博客
07-19 449
架构 要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。 当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再...
flink.checkpoint.maxcurrent=1
最新发布
07-14
`flink.checkpoint.maxcurrent=1` 是一个配置参数，用于设置 Apache Flink 应用程序的最大并行检查点数。 在 Apache Flink 中，检查点是为了实现容错性而创建的应用程序状态的一致性快照。检查点操作涉及将应用程序的状态写入持久化存储，以便在发生故障时进行恢复。 `flink.checkpoint.maxcurrent=1` 设置了最大并行检查点数为 1。这意味着在任何给定时间只能有一个检查点操作正在执行。 通过限制并行检查点数，可以控制资源的使用和负载。较小的并行检查点数可以减少资源竞争和冲突，但可能会增加故障恢复时间。较大的并行检查点数可以提高故障恢复速度，但可能会增加资源消耗。 需要根据应用程序的需求、系统资源和容错性要求进行权衡，选择适当的最大并行检查点数。 总结起来，`flink.checkpoint.maxcurrent=1` 是一个配置参数，用于设置 Apache Flink 应用程序的最大并行检查点数为 1，以控制资源使用和故障恢复速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值