kafka的ack原理

最新推荐文章于 2023-09-07 14:38:24 发布
最新推荐文章于 2023-09-07 14:38:24 发布
阅读量369 收藏
点赞数
分类专栏： kafka 文章标签： 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30505673/article/details/125414635
版权

Kafka的ack机制，指的是producer的消息发送确认机制，这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面，两者不可兼得，只能平衡。

acks有3个值可选 0、1和-1（或者all），默认值为1，值为字符串类型，不是整数类型

0：producer发送后即为成功，无需分区partition的leader确认写入成功

1：producer发送后需要接收到partition的leader发送确认收到的回复

-1：producer发送后，需要ISR中所有副本都成功写入成功才能收到成功响应
wilson_go
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka原理文档1
01-10
kafka原理文档1 kafka是一种高吞吐量、基于发布/订阅模式的消息队列系统。下面是kafka的原理文档，涵盖了kafka的架构、设计理念、消息模型、 Partition机制、日志策略、消息可靠性机制等方面。 一、kafka架构 ...
Kafka的ack机制
qq_45722267的博客
07-18 4113
Kafka的ACK机制，指的是producer的消息发送确认机制，这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面，两者不可兼得，只能平衡。Kafka的ACK机制是针对producer的。保证消息的吞吐量就是producer只负责发数据，不需要得知消息是否被集群接收，这样就会有大量的数据发送到Kafka的集群中，保证了Kafka集群的吞吐量。保证消息的可靠性就是发送消息必须保证消息存储到了集群中，producer才能发送下一个消息。...
acks参数对消息持久化的影响
遥望......
10-20 591
(0)写在前面 　　面试大厂时，一旦简历上写了Kafka，几乎必然会被问到一个问题：说说acks参数对消息持久化的影响? 　　这个acks参数在kafka的使用中，是非常核心以及关键的一个参数，决定了很多东西。 　　所以无论是为了面试还是实际项目使用，大家都值得看一下这篇文章对Kafka的acks参数的分析，以及背后的原理。 　　(1)如何保证宕机的时候数据不丢失? 　　如果要想理解这个acks参数的含义，首先就得搞明白kafka的高可用架构原理。 　　比如下面的图里就是表明了对于每一个Topi
【Kafka】如何保证消息可靠性(ack机制)
m0_45406092的博客
08-09 3411
文章目录1. 消息可靠性2. 发送端如何保证高可用性2.1 ack参数解释2.2 ack详细流程参考 1. 消息可靠性 什么是消息可靠性？就是如何确保消息一定能发送到服务器进行存储，并且发生宕机等异常场景，能够从备份数据中恢复。 消息的可靠性需要从2个方面看待消息可靠性 第一，发送端能否保证发送的消息是可靠的 第二，接收端能否可靠的消费消息 消息发送端： 通过ack机制，定义不同的策略。 消息消费端： 如果消费这边配置的是自动提交，万一消费到数据还没处理完，就自动提交offset了，但是此时你consu
Kafka 客户端实现逻辑分析
weixin_34381666的博客
07-18 164
这里主要分析kafka 客户端实现 (代码分析以perl kafka实现为准) kafka客户端分为生产者和消费者,生产者发送消息,消费者获取消息. 在kafka协议里客户端通信中用到的最多的四个协议命令是fetch,fetchoffset,send,metadata.这四个分别是获取消息,获取offset,发送消息,获取metadata.剩下的其他协议命令大多都是kafka server内部...
聊聊Kafka的生产者消费者确认机制
Z__7Gk的博客
09-07 976
消息从生产者客户端发送至broker服务端topic，需要ack确认。acks与min.insync.replicas是两个配置参数.其中acks是producer的配置参数，min.insync.replicas是Broker端的配置参数，这两个参数对于生产者不丢失数据起到了很大的作用
Apache Kafka面试题
最新发布
02-19
#### 四、Kafka 实现高吞吐的原理 **4.1 技术基础** - **操作系统页缓存**: 利用OS的页缓存机制，而非JVM内部缓存，提高了内存利用率。 - **SendFile 技术**: 采用零拷贝技术，减少了CPU负载和内存复制操作。 - **...
【课程笔记】分布式消息通讯之Kafka的实现原理1
08-04
分布式消息通讯之Kafka的实现原理 Kafka是一种高吞吐量、可持久化、可水平扩展、支持多分区的分布式消息队列系统。其核心实现原理可以分为两大部分：副本数据同步原理和副本leader选举原理。 副本数据同步原理： ...
Kafka 面试题.pdf
07-26
Kafka 实现高吞吐的原理是通过读写文件依赖 OS 文件系统的页缓存，而不是在 JVM 内部缓存数据，利用 OS 来缓存，内存利用率高。sendfile 技术（零拷贝），避免了传统网络 IO 四步流程，支持 End-to-End 的压缩顺序 ...
kafka面试题参考
08-10
8. Kafka 架构原理 Kafka 对消息的保存是根据 Topic 进行归类的，由消息生产者和消息消费者组成，在 Kafka 集群，生产者和消费者都依赖于 ZooKeeper 来保证数据的一致性。在每条消息输送到 Kafka 集群后，消息都会...
Kafka的ACK原理
雪落南城的博客
05-07 9554
SpringBoot yml 配置 原文：https://blog.csdn.net/sheep8521/article/details/89511219 spring: kafka: consumer: group-id: ${spring.application.name} enable-auto-commit: false auto-offset-res...
kafka系列-ack机制
xsxy0506的博客
05-24 4126
1.ack机制 request.required.acks参数表示的是生产者生产消息时，写入到副本的严格程度，决定了生产者如何在性能和可靠性之间做取舍。 acks参数有三个值 ： acks为1时（默认），表示数据发送到Kafka后，经过leader成功接收消息的的确认，才算发送成功，如果leader宕机了，就会丢失数据。 acks为0时， 表示生产者将数据发送出去就不管了，不等待任何返回。这种情况下数据传输效率最高，但是数据可靠性最低，当 server挂掉的时候就会丢数据； acks为-1/all时，表
Kafka工作原理
帝都的雁的博客
11-08 2866
kafka是一个以日志形式存储消息的消息中间件，以高吞吐而闻名。 一、生产者producer 1.ack模式 前提：kafka的服务器broker是个集群 1.1 ack = 0 生产者只管投递，并不关注kafka服务器broker是否接收到消息。 缺点：可能会出现消息丢失。 1.2 ack = 1 生产者投递消息后，broker副本的leader接收到消息，在本地持久化后，就返回生产者消息发送成功；然后开启线程向其它follower同步这条...
Kafka的ACK含义
热门推荐
雪落南城的博客
05-07 1万+
ACK有三种 0 意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息 提供了最低的延迟。但是最弱的持久性，当服务器发生故障时，就很可能发生数据丢失。例如leader已经死亡，producer不知情，还会继续发送消息broker接收不到数据就会数据丢失 1 意味着producer要等待leader成功收到数据并得到确认，才发送下一条message。此选项提供...
Kafka的ACK参数详解及ISR、HW、LEO介绍
weixin_41745141的博客
03-24 1780
介绍了kafka的ACK、ISR、HW、LEO等参数
关于kafka的ack机制
zhouxiaozxx的博客
09-30 7444
Kafka的ack机制，指的是producer的消息发送确认机制 acks有3个值可选 0、1和-1（或者all），默认值为1，值为字符串类型，不是整数类型 0：producer发送后即为成功，无需分区partition的leader写入成功 1：producer发送后需要接收到partition的leader发送确认收到的回复 -1：producer发送后，需要ISR中所有副本都成功写入成功才能收到成功响应 ...
kafaka框架——了解
weixin_44479862的博客
02-02 176
kafaka框架——了解
kafka ack 不生效
04-04
Kafka ack 不生效可能是由于以下原因： 1. 配置文件错误：检查配置文件中的 acks 值是否正确设置。正确的值应该是 0、1 或 all。 2. 消息发送失败：如果消息发送失败，那么 ack 也不会被确认。检查是否有任何错误...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值