【Flink】kafka INVALID_PRODUCER_EPO send data to Kafka old epoch newer producer same transactionalId

已于 2023-07-18 18:52:58 修改
阅读量711 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink FlinkKafka old epoch transactionalId
于 2021-04-22 22:36:59 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/116034462
版权
大数据-flink 专栏收录该内容
836 篇文章 827 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.场景1

问题重复：【Flink】kafka FlinkKafkaException send data to Kafka old epoch newer producer same transactionalId

网友的一个问题。flink可不可以一个流进行多种处理，比如从一个kafka读出数据，进行订单的按日统计，按小时统计，再按人统计，实际上我想要输出的是多条，例如说每小时的GMV统计是一个输出保存到redis，按日统计的又是一个输出保存在redis

比如如下代码</

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Flink 任务报错 Could not perform checkpoint for operator
九师兄
12-03 1941
报错原因：检查点没保存，反压了在节点收到Barrier的时候做检查点，在执行performCheckpoint的时候报错 performCheckpoint 方法的内容如下
【Flink】kafka FlinkKafkaException send data to Kafka old epoch newer producer same transactionalId
九师兄
05-10 662
重复问题：【Flink】kafka INVALID_PRODUCER_EPO send data to Kafka old epoch newer producer same transactionalId 2.场景2 本次场景特意验证了一下这个问题。如下我写了一个程序 测试如下 然后同时调用，就会有一方调用失败报错如下 此处可以证明，如果出现这个问题是同一时间一个事务id被2个生产者使用。具体代码参考： 初步怀疑是指定了这个，可能不需要指定这个 应该使用这个api 本次也是遇到这个问题上次说的：本次解决
pylink链接kafka资源jar包flink-connector-kafka_2.12-1.11.0
12-04
flink-connector-kafka_2.12-1.11.0.jar pylink链接kafka资源jar包f
【Flnik】解决提交程序到flink集群的异常：Could not complete snapshot 3 for operator Source...
懒懒的小白
07-22 4202
Flink程序运行异常 ：Failure reason: Checkpoint was declined
Flink Kafka 问题记录
qq_15138049的博客
04-25 499
【代码】Flink Kafka 问题记录。
Flink写入hdfs报错：Flink job failed with “Checkpoint Coordinator is suspending
长臂人猿的博客
01-29 5939
问题描述 Flink接入kafka数据写入hdfs集群，正常运行一段时间20min到1h作业后报错，failed挂掉。 报错信息 检查点问题： Flink job failed with “Checkpoint Coordinator is suspending. 2020-12-26 20:58:54 org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(
flink-connector-kafka-2.12-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-connector-kafka_2.12-1.14.3.jar 赠送原API文档：flink-connector-kafka_2.12-1.14.3-javadoc.jar 赠送源代码：flink-connector-kafka_2.12-1.14.3-sources.jar 包含翻译后的API文档：flink-...
flink-connector-kafka_2.12-1.13.2.jar
04-21
flink-connector-kafka_2.12-1.13.2.jar
flink-connector-kafka_2.11-1.7.1-API文档-中英对照版.zip
07-14
赠送jar包：flink-connector-kafka_2.11-1.7.1.jar； 赠送原API文档：flink-connector-kafka_2.11-1.7.1-javadoc.jar； 赠送源代码：flink-connector-kafka_2.11-1.7.1-sources.jar； 赠送Maven依赖信息文件：flink-...
flink-connector-kafka-0.10-2.11-1.10.0-API文档-中文版.zip
04-23
赠送jar包：flink-connector-kafka-0.10_2.11-1.10.0.jar； 赠送原API文档：flink-connector-kafka-0.10_2.11-1.10.0-javadoc.jar； 赠送源代码：flink-connector-kafka-0.10_2.11-1.10.0-sources.jar； 赠送Maven...
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation
qq_31451711的博客
01-12 9609
Expiring XXX record(s) for XXX:120015 ms has passed since batch creation flink job启动后，频繁发生checkpoint失败，并且checkpoint失败原因 ：Failure reason: Checkpoint was declined.
Hudi on flink v0.7.0 使用遇到的问题及解决办法
微信公众号：大数据从业者
03-04 1976
近日，Hudi社区合并了 Flink 引擎的基础实现(HUDI-1327)，这意味着 Hudi 开始支持 Flink 引擎。 当前 Flink 版本的 Hudi 只支持读取 Kafka 数据，sink到 COW 类型的 Hudi 表中，其他功能还在完善。 这里我们简要介绍下如何从 Kafka 读取数据 写出到 Hudi表。 Hudi社区已经正式发布了hudi-0.7.0版本。hudi on f...
Flink发送数据到kafka报错 Producer attempted to produce with an old epoch.
最新发布
yy的博客
07-20 926
Flink集群存在多个sink到kafka的任务,使用了相同的事务id,即 transactionalId 相同.flink中 事务id自动生成, 如果uid和name相同，得到的transactionid也一定相同.所以我们要排查的是 不能由多个任务写入同一个topic,而且sink算子的uid,name都一样.解决方法: uid/name 添加随机数 或者不同的字符.
Flink任务 checkPoint失败 问题排查记录
Kingsley's Blog
06-17 8552
背景 公司有一个实时报表项目，需要使用到flink来进行处理。 处理逻辑大概如下： 需要使用canal监控多张表，然后进行一些复杂计算。 程序设置 flink程序代码里面设置了 checkPoint和自动重启机制 //checkpoint配置 env.enableCheckpointing(300000); env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConf
Error:KafkaStorageException打开的文件过多
learnworm的专栏
08-04 1501
在Flink集群大数据处理过程中，向Kafka进行生产数据和消费数据；如果Flink处理过程中出现异常，采取相应的重启机制或设置检查点策略；项目启动后，随着设备接入越来越多，kafka的topic动态产生的也越来越多，kafka下server.log报出文件打开过多......
kafka max.request.size
Pianist Of Keyboard的博客
10-19 6459
项目场景： 使用maxwell通过kafka发布mysql binlog数据 问题描述： 在启动maxwell的时候遇到这个warning，结合maxwell启动时候的打印初始参数可知是参数出了问题 The request included a message larger than the max message size the server will accept 原因分析： 参考 https://blog.csdn.net/tiyager/article/details/10262
Checkpoint的问题总结
L13763338360的博客
06-08 3729
Checkpoint的原理 Flink checkpoint是一种容错恢复机制，保证 Flink 任务运行突然失败时，能够从最近 Checkpoint 进行状态恢复启动，进行错误容忍，是在Chandy–Lamport算法的基础上实现的一种分布式快照算法，其内部使用分布式数据流轻量级异步快照。 Checkpoint流程 JobManager触发checkpoint Source 收到 trigger checkpoint，自己开始做 snapshot，并往下游发送 barrier 下游接收 barr
一文搞定 Flink Checkpoint Barrier 全流程
u011250186的博客
05-12 219
一文搞定 Flink Checkpoint Barrier 全流程
flink kafka SASL_PLAINTEXT配置
04-01
在Flink中使用Kafka时启用SASL_PLAINTEXT身份验证，需要进行以下配置： 1. 在Flink的配置文件中添加以下Kafka相关的配置： ``` # Kafka security protocol security.protocol=SASL_PLAINTEXT # SASL mechanism sasl.mechanism=PLAIN # Kerberos service name sasl.kerberos.service.name=kafka # JAAS configuration file path sasl.jaas.config=/path/to/jaas.conf ``` 其中，`security.protocol`指定了使用SASL_PLAINTEXT协议进行安全连接，`sasl.mechanism`指定了使用PLAIN机制进行身份验证，`sasl.kerberos.service.name`指定了Kafka使用的Kerberos服务名称，`sasl.jaas.config`指定了JAAS配置文件的路径。 2. 在JAAS配置文件中添加以下内容： ``` KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/path/to/keytab" storeKey=true useTicketCache=false serviceName="kafka" principal="user@EXAMPLE.COM"; }; ``` 其中，`KafkaClient`是JAAS配置文件中的一个应用程序名称，`com.sun.security.auth.module.Krb5LoginModule`指定了使用Kerberos认证，`useKeyTab`指定了使用keytab文件进行认证，`keyTab`指定了keytab文件的路径，`storeKey`指定了是否将加密后的密钥存储在缓存中，`useTicketCache`指定了是否缓存Kerberos票据，`serviceName`指定了Kafka使用的Kerberos服务名称，`principal`指定了用于Kerberos认证的用户主体名称。 3. 在Flink应用程序中使用Kafka时，需要在Kafka相关的配置中添加以下内容： ``` Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "kafka:9092"); properties.setProperty("security.protocol", "SASL_PLAINTEXT"); properties.setProperty("sasl.mechanism", "PLAIN"); properties.setProperty("sasl.kerberos.service.name", "kafka"); properties.setProperty("sasl.jaas.config", "/path/to/jaas.conf"); ``` 其中，`bootstrap.servers`指定了Kafka的启动服务器地址，其他配置项与上述步骤中的配置相同。 完成以上配置后，即可在Flink中使用Kafka进行SASL_PLAINTEXT身份验证。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值