Kafka之ack确认机制

5 篇文章 0 订阅
4 篇文章 0 订阅
本文深入探讨了Kafka的ack确认机制,包括producer在发送消息至topic时的acks配置(all、0、1)及其对ISR的影响,以及consumer的自动和手动offset提交。自动提交可能无法确保消息被正确消费,而手动提交提供了更好的控制,但可能阻塞当前线程。理解这些机制对于保证消息的可靠传递至关重要。
摘要由CSDN通过智能技术生成

有两个地方会用到ack确认机制

1.producer发送消息至topic端ack确认

2.consumer从topic中消费消息ack确认

一、producer发送消息至topic端ack确认

acks: all(表示同步所有的副本集合,所有节点落盘成功)、0(表示发送消息后就确认,不管是否成功)、1(表示发送消息之topic,并且leader节点落盘成功)

acks配置了all,如果其中一个follower节点宕机了,那么ack确认机制会不会一直等待?

答案是:不会一直等待,ISR(leader会维持一个与其保持同步的replica集合,该集合就是ISR),一旦有节点宕机了,ISR就会把这个节点踢出去,这样只要等待ISR落盘成功了就会返回ack

二、consumer从topic中消费消息ack确认

        //开启自动提交offset
        props.put("enable.auto.commit", "true");
​
        //自动提交offset延迟时间
        props.put("auto.commit.interval.ms", "1000");

这里我们配置的是自动提交offset

自动提交offset问题:没法控制消息是否正常被消费,适合不是重要的消息,例如日志采集

我们也可以设置为手动提交,代码示例如下(这里是异步提交):

    consumer.commitAsync(new OffsetCommitCallback() {
         @Override
         public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
            if (exception==null){
                 System.out.println("手工提交offset成功:"+offsets.toString());
            }else{
                 System.out.println("手工提交offset失败:"+offsets.toString());
            }
        }
    });

手动提交(同步提交):

//同步提交,失败了会一直重试,会阻塞当前线程
consumer.commitSync();

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值