【Flink】Upsert Kafka Unsupported options:scan.startup.mode

最新推荐文章于 2023-10-07 11:31:51 发布
最新推荐文章于 2023-10-07 11:31:51 发布
阅读量1k 收藏 2
点赞数 5
分类专栏： Flink越学越上头 文章标签： kafka flink java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43744420/article/details/126269046
版权

 在做flink连接到外部系统时，使用kafka时支持scan.startup.mode，用upaser kafka时报错：

报错原因

查看UpsertKafkaDynamicTableFactory源码发现requiredOptions和optionalOptions中都没有scan.startup.mode，在UpsertKafkaDynamicTableFactory中已经设置成earliest

而在kafka中则可以选择 

 

 

latest和earliest区别

当分区下有提交的offset时：

earliest、latest都是从提交的offset开始消费

当分区下无提交的offset时：

earliest：从头开始消费从头开始消费

latest：从该分区新产生的数据开始消费

甜食赛高
关注
  • 5
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
flink upsert kafka 及versioned table 测试
weixin_40455124的博客
01-14 765
upsert kafka几点差异 1、必须使用 .option(“value.format”, “json”) 2、不能使用 .option(“scan.startup.mode”, “earliest-offset”) 3、可以通过row.getKind() 获取需要的数据，比如只获取after-update的数据 4、kafka key中会保留pk信息 PS发现 flink insert 的字段可以少于select 字段，但select 字段必须等于table定义的字段 selectQue
解决：FLINK1.12.0 Upsert Kafka SQL Connector 无法识别scan.startup.mode的问题
zengjinbo1988的专栏
12-20 3813
问题描述： 在升级Flink 1.12.0 以后 Upsert Kafka SQL Connector 不支持scan.startup.mode、scan.startup.specific-offsets、scan.startup.timestamp-millis 无法指定消费点的问题： 原因分析： 由于升级Flink 1.12.0以后Upsert kafka 取消了这些参数，并在社区提问云邪后，得到的回复是 解决方案： 经过对源码分析在KafkaDynamicTableFactory入口类里的o
flink kafka scan =.startup.mode的几个选项
三暮辰的博客
06-13 8510
flink kafka scan =.startup.mode的几个选项
flink SQL 体验遇到问题
为一个人走几座城
10-27 5630
一、 报错：[ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath. Available fac
flink读取kafka 提交offset
monsterXZB的博客
10-07 464
【1】配置checkpoint，flink的Barrier数据对齐机制会将sink端的Barrier提交到jobmanager ,jobmanager 提交offset。flink的kafka客户端的cousmer中查询是否存在offset，如果存在，则是使用kafka的offset,不存在则从头开始读取 、 最新地方。【2】配置checkpoint，当chekcpoint完成时【1】会提交offset。flink设置为latest / earliest模式。
flink sql - 问题系列与解决系列
a123147abc的博客
11-30 6486
flink sql 调试-注意点1、布尔类型的坑2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 1、布尔类型的坑 数据库 deleted = 'false' , flink sql 要替换为 deleted is false 2、cdc 表[kafka/pg等]，要写对表主键，特别是flink sql 有group by 的情况 现象：a 表主键是三个字段的联合主键[PRIMARY KEY (id,parent_id,entity_farm_
flink-connector-kafka_2.12-1.13.2.jar
04-21
flink-connector-kafka_2.12-1.13.2.jar
flink-sql-connector-kafka_2.11-1.12.0.jar
03-30
flink-sql-connector-kafka_2.11-1.12.0
flink-sql-connector-kafka-2.12-1.13.1.jar
最新发布
03-15
flink-sql-connector-kafka_2.12-1.13.1.jar 是 Apache Flink 的一个 Kafka SQL Connector 的 JAR 包，用于在 Flink SQL 环境中与 Apache Kafka 集成。这里面的数字 2.12 和 1.13.1 分别表示了这个 JAR 包所依赖的 ...
java8stream源码-flink-kafka-java:好的kafka-java
06-04
java8流源码大数据项目-Flink-Kafka-Java 使用 flink 和 kafka 等大数据工具对数据集执行操作。 小组成员 莫汉·克里希纳·阿拉瓦拉 示范技巧： 我将在windows机器上演示kafka的安装和配置。 先决条件： 卡夫卡 2.13...
flink-sql-connector-kafka_2.11-1.11.2.jar
03-12
flink-sql-connector-kafka_2.11-1.11.2.jar
Flink 源码分析之 Flink startupMode 是如何起作用的
u013939918的博客
07-31 1066
之前一直有个疑问，如果consumer.setStartFromLatest()以及kafkaProperties.put("auto.offset.reset", "earliest")同时存在，究竟哪一个会起作用，答案肯定是consumer.setStartFromLatest()，为什么呢？我们一起来看一下 @Override public void open(Configuration configuration) throws Exception { // determine th.
flink kafka offset配置
hzp666的博客
12-22 1256
1.2、如果分区中offset没有找到，则使用kafka properties中的auto.offset.reset配置（比如：latest、earliest）配置：enable.auto.commit / auto.commit.interval.ms。从最早的记录开始，使用此配置，在kafka中已经提交的offset将被忽略，不会被使用。从最新的开始，使用此配置，在kafka中已经提交的offset将被忽略，不会被使用。flink kafka消费依赖于内部kafka客户端自动定期的offset提交。
Flink1.12 Kafka Upsert 笔记
欲望以提升热忱 毅力以磨平高山
01-25 8565
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 @[TOC](文章目录) 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、Upsert Kafka Connector是什么？ Upsert Kafka Connector允许用户以upsert的方式从Kafka主题读取数据或将数据写入Kafka主题。 .
Flink ＜--＞Kafka的使用介绍+with参数
Samooyou的博客
05-31 1580
Kafka数据管道是流计算系统中最常用的数据源（Source）和数据目的（Sink）。用户可以把流数据导入到Kafka的某个 Topic 中，通过 Flink 算子进行处理后，输出到相同或不同Kafka示例的另一个 Topic。 Kafka支持同一个 Topic 多分区读写，数据可以从多个分区读入，也可以写入到多个分区，以提供更高的吞吐量，减少数据倾斜和热点。 使用范围 Kafka支持用作数据源表（Source），也可以作为 Tuple 数据流的目的表（Sink），暂不支持 Upsert...
Flink对接Kafka的topic数据消费offset设置参数
zwahut的专栏
11-24 4627
开始阅读位置# config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是： `group-offsets`：从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。 `earliest-offset`：从可能的最早偏移量开始。 `latest-offset`：从最新的偏移量开始。 `timestamp`：从用户提供的每个分区的时间戳开始。 `specific-offsets`：从用户提供的每个分区的特定偏移量开始。 默认选项值group-o.
flink关于 kafka source 偏移量
qq_15138049的博客
11-06 1369
flink kafka 偏移量
flink run 参数_浅谈 Flink - KafkaTable 解析
weixin_39944542的博客
12-27 687
flink 提供多种消费 Kafka 数据的方式，由于不同层级接口支持的功能范围、粒度不同，同时 flink 版本迭代频繁，接口也在不断发生变化，因此使用起来容易混淆。当我们定义了一个 Kafka 的 DDL，例如：CREATE TABLE MyUserTable ( ...) WITH ( 'connector.type' = 'kafka', 'connector.vers...
Apache Flink 实战JAVA用例：使用 SQL 读取 Kafka 并写入 MySQL
ytp552200ytp的博客
12-17 1905
SqlSubmit 的实现 笔者一开始是想用 SQL Client 来贯穿整个演示环节，但可惜 1.9 版本 SQL CLI 还不支持处理 CREATE TABLE 语句。所以笔者就只好自己写了个简单的提交脚本。后来想想，也挺好的，可以让听众同时了解如何通过 SQL 的方式，和编程的方式使用 Flink SQL。 SqlSubmit 的主要任务是执行和提交一个 SQL 文件，实现非常简单，就是...
Caused by: org.apache.flink.table.api.ValidationException: Unsupported options found for 'kafka'. Unsupported options: password.encrypt.enabled Supported options:
06-03
这个错误是由于在 Flink Table API 中使用了不支持的 Kafka 连接器选项。具体来说，使用了名为 `password.encrypt.enabled` 的选项，该选项在 Flink 中不被支持。 正确的 Kafka 连接器选项可以通过参考 Flink 文档中的 Kafka 连接器部分来获取。您可以检查您的代码并将不支持的选项替换为支持的选项，以解决这个问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值