【kafka】kafka 发送数据 发送失败 回调函数 怎么能记录异常的消息内容

已于 2023-10-18 14:30:43 修改
阅读量930 收藏 1
点赞数
分类专栏： 大数据-kafka 文章标签： kafka java 异常数据
于 2021-10-27 20:14:35 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/120651012
版权
大数据-kafka 专栏收录该内容
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
本文作者九师兄分享如何在Kafka发送数据失败时，通过自定义回调函数捕获并记录异常消息内容，以解决网友遇到的问题。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

文章目录


在这里插入图片描述

1.概述

一个网友迷糊了，问题如下

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
自己自定义一个callback呀，然后把消息传递进去，这样你异常的时候 就可以用了

在这里插入图片描述

九师兄
关注
专栏目录
订阅专栏
Kafka生产者消息发送流程原理及源码分析
ningkangming的博客
06-11 1572
Kafka是一个分布式流处理平台，它能够以极高的吞吐量处理数据。在Kafka中，生产者负责将消息发送到Kafka集群，而消费者则负责从Kafka集群中读取消息。本文将探讨Kafka生产者消息发送流程的细节，包括消息的序列化、分区分配、记录提交等关键步骤。先看一个生产者发送消息的代码样例通过跟踪producer.send源码可知生产者发送消息的大体流程如下图，RecordAccumulator的消息发送到brokers实际上由Sender线程处理，下图暂时忽略，先看producer主线程处理的一些细节。
kafka生产者回调的使用
wjlzx的博客
11-27 1万+
前言：今天看到有人说kafka生产者在发送消息后，如果发生异常，异常捕获方法里拿不到消息的数据，我想了想，感觉不太对劲，所以验证了一下。 首先说下结论：kafka是不会在生产者发送消息的回调中，把发送的消息再一次返回回来的，因为这些消息我们可以自己记录，没必要浪费网络资源。 kafka-client的回调方法 kafka原生的kafka-client包中，生产者发送回调方法如下，其中Rec...
kafka生产者发送消息成功回调
李程程的博客
04-15 5098
kafka生产者发送消息成功回调添加成功回调类生产者代码添加成功回调类 添加成功回调类 @Component public class KafkaSendResultHandler implements ProducerListener { private static final Logger log = LoggerFactory.getLogger(KafkaSendResultHandler.class); /** * kafka发送成功回调 * @param
Kafka：Producer异步发送与回调
kaven
02-12 3140
pom.xml： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.or
Kafka消息发送失败解决方案
huyl08的博客
06-27 5861
kafka是吞吐量比较大的消息队列，但是在使用过程中，容易遇到各种各样的坑，现列举如下，帮助大家避免踩雷。 笔者在探索过程中，遇到过kafka-python发送成功，但是消费者端仍然收不到数据的问题，日志一切正常，血泪历史如下。 不定期更新中。
Kafka中的生产者如何处理消息发送失败的情况？
wzxue1984的博客
07-31 2744
通过以上方式，开发者可以对Kafka生产者的消息发送过程进行处理和管理，根据不同的失败情况采取相应的策略，确保消息发送的可靠性和稳定性。请根据具体的需求和业务场景选择适合的处理方式。
Effective Oracle by Design笔记
04-28 134
last updated 2006-04-29Effective Oracle by Design第一章 构建应用程序的正确方法1.以数据库独立的名义,拒绝利用特定数据库的特性,拒绝扩展其功能.这实际是选择了取消而不是利用公司为...
多图详解 kafka 生产者消息发送过程
Q54665642ljf的博客
10-18 3575
整个生产者客户端是由主线程和 Sender 线程协调运行的, 主线程创建消息, 然后通过 拦截器、元信息更新、序列化、分区器、缓存消息等等流程。然后 Sender 线程在初始化的时候就已经运行了,并且是一个 while 循环。Sender 线程里面主要工作是：去消息累加器里面获取有哪些 Node 是能够发送 Request 的。只要该 Node 有一个 TopicPartition 队列中有符合发送条件的 Batch。那么这个 Node 就应该是 ReadyNode。具体的筛选逻辑请看上文有具体分析。
多图详解kafka生产者消息发送过程
JAVAQXQ的博客
07-28 1166
整个生产者客户端是由主线程和Sender线程协调运行的,主线程创建消息,然后通过拦截器、元信息更新、序列化、分区器、缓存消息等等流程。然后Sender线程在初始化的时候就已经运行了,并且是一个while循环。Sender线程里面主要工作是寻找ReadyNodes去消息累加器里面获取有哪些Node是能够发送Request的。只要该Node有一个TopicPartition队列中有符合发送条件的Batch。那么这个Node就应该是ReadyNode。具体的筛选逻辑请看上文有具体分析。控制的。中。...
python使用kafka-Python调用Kafka发送数据
weixin_37988176的博客
10-30 2625
来源于 https://www.cnblogs.com/FG123/p/10091478.htmlKafka是一种分布式的基于发布/订阅的消息系统，它的高吞吐量、灵活的offset是其它消息系统所没有的。Kafka发送消息主要有三种方式：1.发送并忘记 2.同步发送 3.异步发送+回调函数下面以单节点的方式分别用三种方法发送1w条消息测试：方式一：发送并忘记(不关心消息是否正常到达，对返回结果...
kafka入门，生产者异步发送、回调函数，同步发送（四）
weixin_43205308的博客
06-27 2720
生产者异步发送、回调函数，同步发送
kafka生产者方式、回调函数、指定分区、消费方式指定分区、偏移量提交、多线程，消费失败重试补偿
.
03-04 5773
一、 kafka发送消息的三种方式 public class MyProducer implements Job { private static KafkaProducer<String,String> producer; static { Properties properties = new Properties(); ...
Kafka常见问题处理
weixin_44870066的博客
07-28 2877
Kafka常见问题处理
kafka auto.offset.reset值不起作用
全栈开发的博客
02-04 1663
kafka小知识点
【注意】Kafka生产者异步发送消息仍有可能阻塞
Season-0209的博客
01-27 3629
Kafka生产者异步发送消息的方法，看似异步，实则可能阻塞。由于发送消息前需要获取元数据Metadata，如果一直获取失败（可能原因包括Broker连接失败、Topic未创建等），将导致长时间阻塞。这点与我们的一般理解不符，需要特别注意。
spring kafka消息同步发送、异步发送、异步回调和分区路由发送
weixin_43837052的博客
03-20 4474
spring kafka消息同步发送、异步发送、异步回调和分区路由发送同步发送异步发送异步发送失败回调分区路由发送 我们在使用spring kafka发送消息的时候是调用send方法点进send方法发现有很多重载方法，下面我们介绍下使用spring kafka同步/异步发送消息并接收异步回调 同步发送 最简单的同步发送方式如下： public class KafkaServer { @A...
Kafka3.0.0版本——生产者回调异步发送消息 （API代码示例）
小志的博客
04-02 1028
Kafka3.0.0版本——生产者带回调函数的异步发送消息 （API代码示例）
kafka发送消息的三种方式
热门推荐
bin的主栏
05-31 1万+
1、发后即忘（fire-and-forget） 只管往kafka发送消息而并不关心消息是否正确到达。正常情况没什么问题，不过有些时候（比如不可重试异常）会造成消息的丢失。这种发送方式性能最高，可靠性最差。 kafkaTemplate.send(topic, msg) 2、同步发送(sync) 其实kafkaTemplate.send方法并不是返回void，而是ListenableFuture<SendResult<K, V>>，该类继承了jdk concurrent包的Fu
Java kafka发送消息回调
最新发布
09-22
在Java中，Apache Kafka 提供了一套完整的API和工具，用于生产者（Producer）将数据发布到主题（Topic），消费者（Consumer）订阅并消费这些消息。当你作为生产者发送消息时，Kafka通常不会直接提供消息发送后的回调函数。然而，你可以通过监听`org.apache.kafka.clients.consumer.ConsumerRecords`对象来间接获得消息处理的结果。 当生产者成功发送消息时，它会返回一个`Future<RecordMetadata>`，该对象表示消息已经被添加到了分区中。虽然这个future不代表消息已被所有消费者消费，但它可以作为一个异步操作的标识。如果你想得到消息确认或者处理错误，你需要自行设置一个回调机制： ```java producer.send(record) .thenAcceptAsync(metadata -> { // 消息发送成功处理 System.out.println("Message sent to topic " + record.topic() + " partition " + metadata.partition()); }, executorService); ``` 这里，`executorService`是一个线程池，用于异步处理回调。如果发送失败，未来可能会抛出异常，这时可以在catch块中捕获并处理错误。 对于消费者的回调，Kafka提供了一个`ConsumerRecordListener`接口，消费者注册这个接口的实例到特定的主题，每当有新的消息到达时，就会触发相应的事件处理器。 ```java MyEventListener listener = new MyEventListener(); consumer.assign(List.of(topic)); consumer.subscribe(Arrays.asList(topic), listener); // 实现 ConsumerRecordListener class MyEventListener implements ConsumerRecordListener<String, String> { @Override public void onPartitionsRevoked(String topic, Collection<int[]> partitions) {} @Override public void onPartitionsAssigned(Map<String, Collection<int[]>> assignments) {} @Override public void records_consumed(ConsumerRecords<String, String> records) { for (ConsumerRecord<String, String> record : records) { // 消息消费处理 processRecord(record); } } private void processRecord(ConsumerRecord<String, String> record) { //... } } ``` 在这个例子中，`records_consumed`方法会在每个新记录到达时被调用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值