Kafka ACK应答级别以及相关副本介绍

最新推荐文章于 2024-11-01 22:33:34 发布
最新推荐文章于 2024-11-01 22:33:34 发布
阅读量710 收藏
点赞数 2
文章标签： 分布式 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36570086/article/details/125399996
版权
本文详细介绍了Kafka的数据可靠性机制，包括不同ACK级别（0、1、-1）对数据丢失的影响，以及副本（replica）如何确保数据安全性。重点讨论了ISR（In-Sync Replicas）和OSR（Out-of-Sync Replicas）的概念，解释了副本数量、ISR阈值对数据完整性的关键作用。同时，提到了Kafka默认和生产环境的副本配置建议，以及副本过多可能带来的存储和效率问题。
摘要由CSDN通过智能技术生成

ack：0 数据可靠性：丢数

生产者发送过来的数据，不需要等数据罗盘

ack：1 数据可靠性：丢数

生产者发送过来的数据，leader收到数据后应答

ack：-1

生产者发送过来的数据，leader和ISR队列里面的所有节点收齐数据后应答

数据完全可靠条件=ack级别设置为-1+replica分区副本数大于等于2+ISR版本大于等于2

kafka副本作用：提高数据可靠性

kafka默认副本1个，生产环境一般配置两个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上数据传输，降低效率。

kafka中副本分为：leader和follower。kafka生产者会把数据发往leader然后follow找leader进行同步

AR=ISR+OSR

ISR，表示和Leader保持同步的Follower集合。如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader。ISR，表示和Leader保持同步的Follower集合。如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader

OSR，表示Follower与Leader副本同步时，延迟过多的副本。

Max.G
关注
Kafka 系列（五）—— 深入理解Kafka副本机制
黑白影的博客
06-07 948
一、Kafka集群 Kafka使用Zookeeper来维护集群成员(brokers)的信息。每个broker都有一个唯一标识broker.id，用于标识自己在集群中的身份，可以在配置文件server.properties中进行配置，或者由程序自动生成。下面是Kafka brokers集群自动创建的过程： 每一个broker启动的时候，它会在Zookeeper的/brokers/ids路径下创建一...
【kafka原理】Kafka生产者 (分区策略和ACK应答机制)(1)
2301_79655576的博客
04-19 1050
由于篇幅原因，就不多做展示了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！由于篇幅原因，就不多做展示了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
Kafka的ACK应答级别
m0_54187478的博客
11-28 1818
在 Kafka 中，ACK（Acknowledgement）应答级别是一个重要的概念，它决定了消息发送到 Kafka 集群后如何确认消息的成功存储。生产者可以根据需要设置不同的 ACK 级别，以在数据可靠性和传输效率之间做出权衡。选择哪个 ACK 级别取决于具体的应用场景和对数据可靠性与处理吞吐量的需求。例如，对于那些要求高数据可靠性的关键任务应用，可以选择 ACK=all；而对于可以容忍少量数据丢失的场景，则可能选择 ACK=0，以获得更高的性能。
【大数据学习 | kafka】kafka的ack和一致性
最新发布
2301_80912559的博客
11-01 1658
这个模式不会丢失数据，但是如果leader接受完毕数据并且将数据同步给不同的follower，从节点已经接受完毕，但是还没有返回给sender线程ack的时候，这个时候leader节点宕机了，sender没有接收到这个ack，它人为没有发送成功还会重新发送数据过来，会造成数据重复。在kafka的0.10以后的版本中增加了新的特性，幂等性，主要就是为了解决kafka的ack = -1的时候，数据的重复问题，设计的原理就是在kafka中增加一个事务编号。
ACK（(Acknowledge character）应答机制（kafka）
big_White_Mouse的博客
11-16 2400
ACK有三个等级 等级 解释 安全性 所用时间 0 不等leader的反馈，就是不等任何反馈 最不安全 最短 1 等leader的反馈，不等ISR中follower的反馈 较为安全(leader不掉) 较短 -1（all） 等leader的反馈，而且等ISR中所有的follower的反馈 安全 最慢 ...
【Kafka十一】关于Kafka的副本管理
bit1129的博客
04-07 391
1. 关于request.required.acks   request.required.acks控制者Producer写请求的什么时候可以确认写成功，默认是0， 0表示即不进行确认即返回。 1表示Leader写成功即返回，此时还没有进行写数据同步到其它Follower Partition中 -1表示根据指定的最少Partition确认后才返回，这个在   This value...
Kafka-核心架构-分区、副本（含副本选举机制）
喻师傅的学习笔记
05-16 2633
Kafka分区和副本
kafka ack hw isr 记录
qq_31515997的博客
05-31 178
KAFKA ISR、HW、ACK 理解
kafka的ack应答机制在哪儿看
06-07
Kafka的ACK应答机制可以在生产者API中设置。具体来说，生产者API中的acks参数控制了生产者在发送消息之后等待的确认数。acks参数有三个可能的值： - acks=0：生产者不会等待任何确认消息，直接将消息发送到Kafka...
kafka_08_应答机制ack
zxczb的博客
08-09 508
kafka的ack&retries #mermaid-svg-wCqAceYsBpZQzwcX .label { font-family: 'trebuchet ms', verdana, arial; font-family: var(--mermaid-font-family); fill: #333; color: #333; } #mermaid-svg-wCqAceYsBpZQzwcX .label text { fill: #333; } #mermaid
Kafka学习笔记 重复消费 消息队列 partition ack 应答机制
每天写程序
01-01 4503
要解决的问题 1 存储数据 2 重复消费 将数据的生产和消费分开 （异步通信） 保证顺序 缓冲 Kafka 重要的消息组件 生产者 消费者 消费者组 Topic Kafka对消息保存时，根据Topic 归类 Broker 一个Kafka实例称为一个Broker partition 一个大的Topic 可以分为多个partition,用来做负载均衡。一个partition中的数据是有序的，不能保...
详解Kafka设计架构核心——Kafka副本机制详解
qq_44885775的博客
03-15 427
本文主要分享了 Apache Kafka 的副本机制以及它们实现的原理。坦率地说，我觉得有些地方可能讲浅了，如果要百分之百地了解 Replication，你还是要熟读一下 Kafka相应的源代码。
kafka的副本以及分区与副本的关系
热门推荐
健康平安的活着的专栏
03-06 1万+
一 副本的作用 1.Kafka 副本作用：提高数据可靠性。 2.Kafka 中副本分为：Leader 和 Follower。Kafka 生产者只会把数据发往 Leader， 然后 Follower 找 Leader 进行同步数据。 读写由leader来完成，follower只备份，和leader同步数据，leader发生故障，follower顶上去。 leader副本：可以理解为某个分区中，除了不是副本的那个分区。 3.Kafka 分区中的所有副本统称为 AR（Assigned Repllica
kafka学习（4）副本
weixin_33804582的博客
04-15 143
2019独角兽企业重金招聘Python工程师标准>>> ...
Kafka | Kafka副本机制详解
sinat_27143551的博客
10-31 1050
今天我要和你分享的主题是：Apache Kafka 的副本机制。所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保...
Kafka数据可靠性和ACK应答机制
feizuiku0116的博客
06-14 827
1. kafka生产者发送数据流程 2. ack应答级别 3. 数据可靠性条件 4. 可靠性分析
kafka的 ack 应答机制
jojo_oulaoula的博客
09-19 2984
replica） 就是 Kafka 为某个分区维护的一组同步集合，即每个分区都有自己的一个 ISR 集合，处于 ISR 集合中的副本，意味着 follower 副本与 leader 副本保持同步状态，只有处于 ISR 集合中的副本才有资格被选举为 leader。partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，尽管 leader 已经落盘成功，但是 follower 的同步进度肯定是低于leader，这时故障，那么将会。java api 中相应参数。
Kafka Producer之ACKS应答机制
m0_51390969的博客
07-17 1091
无论哪一种，有一个关键的步骤叫做回调，也就是ACKS应答机制。异步发送的效率高，但是不安全，同步发送安全，但是效率低。其中ACKS也分为3个等级。
wurstmeister/kafka 2.3设置默认副本数
johnhuster的专栏
01-25 2210
kafka是使用十分广泛的一款消息中间件，凭借其强大的吞吐以及可靠性获得了不错的口碑，其在大数据传输方面也有应用，wurstmeister/kafka是目前使用最多的一个kafka docker镜像。kafka的副本数在kafka的高可用性上有着至关重要的作用，笔者的一篇文章中说到了可以通过KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR设置__consumer_offsets主题的副本数，__consumer_offsets主题是用来存储其他主题各个分区消费进度的主题，这是ka
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值