有两个地方会用到ack确认机制
1.producer发送消息至topic端ack确认
2.consumer从topic中消费消息ack确认
一、producer发送消息至topic端ack确认
acks: all(表示同步所有的副本集合,所有节点落盘成功)、0(表示发送消息后就确认,不管是否成功)、1(表示发送消息之topic,并且leader节点落盘成功)
acks配置了all,如果其中一个follower节点宕机了,那么ack确认机制会不会一直等待?
答案是:不会一直等待,ISR(leader会维持一个与其保持同步的replica集合,该集合就是ISR),一旦有节点宕机了,ISR就会把这个节点踢出去,这样只要等待ISR落盘成功了就会返回ack
二、consumer从topic中消费消息ack确认
//开启自动提交offset
props.put("enable.auto.commit", "true");
//自动提交offset延迟时间
props.put("auto.commit.interval.ms", "1000");
这里我们配置的是自动提交offset
自动提交offset问题:没法控制消息是否正常被消费,适合不是重要的消息,例如日志采集
我们也可以设置为手动提交,代码示例如下(这里是异步提交):
consumer.commitAsync(new OffsetCommitCallback() {
@Override
public void onComplete(Map<TopicPartition, OffsetAndMetadata> offsets, Exception exception) {
if (exception==null){
System.out.println("手工提交offset成功:"+offsets.toString());
}else{
System.out.println("手工提交offset失败:"+offsets.toString());
}
}
});
手动提交(同步提交):
//同步提交,失败了会一直重试,会阻塞当前线程
consumer.commitSync();