【Flink实战系列】Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/consumer/ConsumerRecord；)Ljava/

已于 2022-07-25 14:23:16 修改
阅读量992 收藏 1
点赞数
分类专栏： Flink 实战系列 文章标签： flink java kafka
于 2022-07-24 19:52:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/125963348
版权
在使用Flink消费Kafka数据并自定义PoJoDeserializationSchema时，遇到AbstractMethodError。问题源于flink-sql-connector-kafka-1.15.0.jar中的类重定位导致的类找不到和Jar包冲突。解决方案包括理解flink-connector-kafka与flink-sql-connector-kafka的区别，以及在pom文件中添加相同重定位规则避免冲突。
摘要由CSDN通过智能技术生成

java.lang.AbstractMethodError: Method flink/stream/deserialization/PoJoDeserializationSchema.deserialize(Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/consumer/ConsumerRecord;)Ljava/lang/Object; is abstract

背景介绍

Flink 消费 kafka 数据在使用自定义的反序列化类 PoJoDeserializationSchema 的时候遇到上面的报错，这里说明一下，如果你直接使用 SimpleStringSchema 反序列化是不会遇到这个问题的，另外一点，我这里使用的是 flink-sql-connector-kafka-1.15.0.jar 这个包，这里顺便在说一下 flink-connector-kafka-1.15.0.jar 和 flink-sql-connector-kafka-1.15.0.jar 这两个包的区别，因为我发现很多同学搞不清楚这两个包的关系，首先从

了解本专栏 订阅专栏 解锁全文 超级会员免费看
JasonLee实时计算
关注
专栏目录
订阅专栏
Flink 读写Kafka总结
主要分享大数据相关的知识，如Spark、Hudi
07-05 1984
总结Flink读写Kafka。
flink系列-使用/教程/实例/配置/文档/代码.zip
08-08
Flink是Apache软件基金会开发的一个开源流处理框架，它提供了数据流处理的高效、低延迟以及高容错性。在本资源包中，你将找到关于Flink的使用、教程、实例、配置以及文档和代码，这对于学习和掌握Flink来说是非常...
Kafka常见错误及解决办法
热门推荐
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
(Ljava/lang/Object；Ljava/lang/Long；)Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/producer
qq_42437926的博客
12-09 776
问题原因是kafka版本过低再项目中导入kafka-client包。
Ljava/lang/Object； is abstract
litie2019的博客
04-11 533
后结合网上案例，怀疑是sqlserver驱动版本问题。经过排查，LocalDateTime映射导致报错。
Flink异常：java.lang.AbstractMethodError: Method XXX Ljava/lang/Object； is abstract
qq_40498209的博客
12-30 2526
java.lang.AbstractMethodError: Method flink/connect/kafka/stringTest$1.deserialize(Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/consumer/ConsumerRecord;)Ljava/lang/Object; is abstract at flink.connect.kafka.stringTest$1.deserialize(stringTest.j
使用flink的standalone模式同步Kafka的数据到clickhouse的flink代码和jar包
最新发布
03-15
在大数据处理领域，Flink和Kafka以及ClickHouse都是至关重要的组件。Flink是一个流行的开源流处理框架，它提供实时数据处理和批处理能力。Kafka是Apache的一个分布式消息中间件，常用于实时数据流的生产和消费。而...
（orc + snappy / zlib ） 多线程并行合并小文件工具类 （出自：flink自定义合并orc小文件处）
03-04
本项目提供的工具类就基于orc格式，利用了snappy或zlib压缩，用于在Flink中自定义合并orc小文件。 orc是一种高效的列式存储格式，适用于大数据处理，它支持多种压缩算法，如snappy和zlib。Snappy是一种快速但压缩率...
flink 读取 kafka (DataStream API scala 源码)
06-29
flink 读取 kafka (DataStream API scala 源码)
基于Java1.8的flink开发demo，包含了csv、kafka、MySQL数据的输出输出
06-30
Flink与Kafka的集成非常紧密，通过`FlinkKafkaConsumer`和`FlinkKafkaProducer`，可以方便地将Flink作业连接到Kafka主题，实现数据的消费和生产。在这个demo中，可能会展示如何设置消费者和生产者的配置，以及如何...
Flink监控：自定义消费延迟Metrics
foureyes
08-07 2351
文章目录1. 需求2. 名词解释 1. 需求 现有如下需求，以kafka作为source，实时统计flink任务的消费偏移量current-offset和分区偏移量总长度log-end-offset，并计算两者差着，得到消费延迟lag，如图： 2. 名词解释 current-offset： 相比current-offset，我们更熟悉commit-offset，每一次poll()， ...
flink消费kafka报错：org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V
weixin_43079984的博客
03-26 4529
flink消费kafka上数据时报错： Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.assign(Ljava/util/List;)V 错误原因： Flink的kafka Consumer版本和kafka-client的版本不一致 解决方案：三者版本一致 正确配...
Apache Flink 如何管理Kafka消费者offsets
ytp552200ytp的博客
12-19 1935
问题导读1.Flink与kafka一起如何做Checkpointing ？2.发生故障，Flink如何恢复的？3.Kafka consumer offsets存储在什么位置？ 下面一些词简单解释： 1.检查点对应Checkpointing 2.主题对应Topic 3.Job对应工作 ###################### 在我们这篇文章中，我们将逐步说明Apache Flink如何与Apa...
Flink消费Kafka下沉数据到（HDFS、Redis、Kafka、LocalFile）
weixin_44741082的博客
04-13 366
【代码】Flink消费Kafka下沉数据到（HDFS、Redis、Kafka、LocalFile）
Flink 1.14.0 消费 kafka 数据自定义反序列化类
JasonLee实时计算
10-13 6325
在最近发布的 Flink 1.14.0 版本中对 Source 接口进行了重构,细节可以参考 FLIP-27: Refactor Source Interface重构之后 API 层面的改...
Flink读取kafka scala 和 java的小坑
qq_31866793的博客
08-13 3249
报错就是找不到kafka的类 Caused by: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.ConsumerRecord Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.ByteArrayDeserializer 先贴代码： 在读取kafka多个topic的时候自定义输出类：...
Flink 一个 依赖 引起的错误 JobGraph。
LizhiQiang
11-24 1549
错误如下 : Exception in thread "main" java.lang.NoSuchMethodError: org.apache.flink.optimizer.plantranslate.JobGraphGenerator.addUserArtifactEntries(Ljava/util/Collection;Lorg/apache/flink/runtime/jobgraph/JobGraph;)V at org.apache.flink.streaming.api.graph.S
Flink消费Kafka:自定义KafkaDeserializationSchema
kiwi198709的博客
01-17 8327
一、pom文件中添加依赖： <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> ...
Flink实战：自定义KafkaDeserializationSchema(Java/Scala)
陆继森的技术专栏
04-25 9936
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读 kafka中的数据通常是键值对的，所以我们这里自定义反序列化类从kafka中消费键值对的消息，为方便大家学习，这里我实现了Java/Scala两个版本，由于比较简单这里直接上...
org/apache/flink/api/common/state/CheckpointListener
07-29
`org/apache/flink/api/common/state/CheckpointListener` 是 Flink 的一个接口，用于处理检查点相关的事件。 Flink 是一个分布式流处理框架，它支持将数据流转换为有状态的流处理任务。在处理大规模流数据时，Flink 可以提供容错性，并支持将任务的中间结果保存到检查点中。Checkpoint 就是用于保存任务的中间状态的机制。 `CheckpointListener` 接口定义了一组方法，用于处理与检查点相关的事件。具体来说，它包含以下方法： - `notifyCheckpointComplete(long checkpointId)`: 当一个检查点完成时被调用。可以在此方法中执行一些清理或反馈操作。 - `notifyCheckpointAborted(long checkpointId)`: 当一个检查点被中止时被调用。可以在此方法中执行一些清理操作。 - `notifyCheckpointFailure(long checkpointId, Throwable cause)`: 当一个检查点失败时被调用。可以在此方法中执行一些恢复或清理操作。 通过实现 `CheckpointListener` 接口，你可以自定义检查点事件的处理逻辑，以满足特定的需求。例如，你可以在检查点完成后触发一些回调函数，或者在检查点失败时执行一些自定义的错误处理逻辑。 注意，`org/apache/flink/api/common/state/CheckpointListener` 是 Flink 的一个类路径，具体实现代码可以在 Flink 的源码中找到。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值