6.Kafka Acks详解

最新推荐文章于 2024-07-17 22:17:07 发布
最新推荐文章于 2024-07-17 22:17:07 发布
阅读量1.3k 收藏 29
点赞数 28
分类专栏： kafka 文章标签： kafka 分区副本 ISR 同步副本 Ack
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79691134/article/details/140434003
版权

目录

概述

   本文对 kafka 的一些核心概念进行解释，也是 kafka 需要调优的一些地方。

官方原文速递

Replication(分区副本)

  对于每个分区，存在一个 leader 和 n 个 follower 。控制分区中 leader与 follower（1+N）数量的配置是 replication.factor。表示数据在 kafka 集群中数据副本数。默认及推荐的建议是3。

  kafka 中的分区副本两种类型：leader 与 follower ；follower 是不对外提供服务的，所有的请求都必须由 leader来处理。

在这里插入图片描述

In-sync replicas

   broker 上分区的最新同步副本（ISR）， 一个 leader 的副本一直是最新的 。只有当一个 follower 完全与 leader 一致时，它才是同步副本。换句话说，它不能落后于给定分区的最新记录。
如果一个 follower 落后于分区的最新数据，将不再将其视为同步副本。请参见图2，其中显示Broker3落后（不同步）。

总结：

  • 所说的同步不是指完全的同步，即并不是 follower 副本同步滞后于 leader 副本，就会被踢出 ISR 列表
  • kafka的 broker 端有一参数 replica.lag.time.max.ms ，表示 follower 副本与 leader 滞后的最长时间间隔，默认是 10s 。
  • 如果 follower 副本被踢出 ISR 列表，等追上了 leader 副本的进度 ，会再次加入 ISR 列表，所以 ISR 是一个动态列表。
    在这里插入图片描述
    注意：一般某个 follower 落后，可能是满负载，或者空间不足。

Acknowledgements

  acks 设置是在客户端（生产者）配置。表示 brokers 接受到写入成功的信息 。它支持三个值：0、1和 all 。

acks=0

  如果值为 0，生产者不会等待 broker 的响应。在 消息 发出的那一刻 ，就认为是写入成功。（见图3：生产者甚至不等待响应。消息已被确认！）

在这里插入图片描述

acks=1

  设置为1，当 leader 收到记录时那一刻，则认为写入成功，不再等待。（见图4：生产者等待响应。一旦收到响应，消息就会得到确认。broker 在收到记录后立即响应。followers 异步复制新记录。）

在这里插入图片描述

acks=all

  当设置为all时，当所有同步副本都收到记录时，此时生产者将认为写入成功。这是通过 leader broker 在响应请求时来实现的——一旦所有同步副本都收到记录，它就会发回响应。（见图5：没那么快！Broker 3还没有收到记录。）

在这里插入图片描述
当 leader broker 知道所有 followers 都同步完
在这里插入图片描述

Ack实用建议

  正如上面总结的那样，需要在性能与数据可靠性之间做平衡，如果想要保证数据准确与安全，配置 all ；如果想要保证性能，丢失一些数据，无影响 ，使用 0，来获得极致的性能、低延迟，高吞吐。

Minimum in-sync replica

  当 acks=all 时，需要所有的副本都同步了才会发送成功响应到生产者，这里面存在一个问题：如果 leader 副本是唯一的同步副本时，相当于 acts=1 ，所以是不安全的。
  kafka的 broker 端提供了 min.insync.replicas ，该参数控制的是消息至少被写入到多少个副本才算是 真正的写入，默认值 1 ，生产环境设定一个大于 1 的值可以提升消息的持久性。因为如果同步副本的数量低于该配置值 ，则生产者会收到错误响应，从而确保消息不丢失。
  请看下图，Broker2 同步成功，Broker3 没有同步成功，且不在 ISR 列表中，此时min.insync.replicas=2 表示消息发送成功 。
在这里插入图片描述

  下图对 acks=all 和 acks=1 时，同是 min.insync.replicas=2 条件下发送消息，ACK 是不一样的。
在这里插入图片描述

Caveat(警告)

  这种情况容易引起误解。如果 acks=all 且 min.insync.replicas=2 ，此时 ISR 列表为 [1,2,3]，那么还是会等到所有的同步副本都同步了消息，才会向生产者发送响应的 ack。因为 min.insync.replicas=2 只是一个最低限制，即同步副本少于该值配置值 ，则会抛出异常，而 acks=all 是需要保证所有的 ISR 列表的副本都同步了才可以发送成功响应。

在这里插入图片描述

流月up
关注
  • 28
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
kafka ack确认机制
JustinMars的博客
09-18 1571
要注意，在acks=all模式下，如果Kafka集群的副本因某种原因无法满足确认要求，写入操作可能会失败，因此需要在选择确认级别时进行权衡。在这个级别下，生产者发送消息后会等待所有分区副本都确认消息已成功写入到它们的本地日志，然后才认为消息已成功发送。在这个级别下，生产者发送消息后会等待分区的领导者（leader）确认消息已成功写入到其本地日志。生产者发送消息后不会等待任何确认，直接将消息添加到分区的副本中，并认为消息已成功发送。在这种模式下，如果发生故障或错误，生产者将不会知道，也不会重试发送消息。
kafka中的acks参数
chengliehuo9899的博客
06-28 8900
首先这个acks参数，是在KafkaProducer，也就是生产者客户端里设置的也就是说，你往kafka写数据的时候，就可以来设置这个acks参数。 这个参数实际上有三种常见的值可以设置，分别是：0、1 和 all。 第一种选择是把acks参数设置为0 我的KafkaProducer在客...
【Kafka 基础】-- acks 机制
欢迎来到我的博客，一起探索代码里的世界！
12-29 2586
Kafka producer 的三种 ack 机制 Kafka producer 有三种 ack 机制，可以在初始化 producer时在 config 中进行配置 举例 Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); 默认值：acks=1 以下是相关说明图示： acks=0 producer写入 l...
Kafka-ACK机制（ack应答原理、冥等性、事务）
喻师傅的学习笔记
05-16 4001
Kafka ACK机制
Kafka的ACK机制
qq_41515210的博客
06-11 231
Kafka的ACK（Acknowledgment）机制是用于确保消息可靠传递的关键组件之一。生产者在发送消息到Kafka集群时，可以通过设置不同的acks参数值来控制消息发送后的确认机制，从而平衡消息的可靠性和延迟时间。
详解Spring Kafka中关于Kafka的配置参数
08-27
Spring Kafka 中关于 Kafka 的配置参数详解 在 Spring Kafka 中，配置参数是非常重要的，它直接影响着 Kafka 的性能和稳定性。本文将详细介绍 Spring Kafka 中关于 Kafka 的配置参数，帮助读者更好地理解和使用 ...
SpringBoot使用Kafka详解含完整代码
02-20
### Spring Boot 使用 Kafka 详解 #### 一、前言 随着大数据时代的发展，实时数据处理的需求日益增加。Kafka作为一款高性能的分布式流处理平台，因其高吞吐量、低延迟等特点，在数据处理领域占据了一席之地。而...
kafka数据可靠性机制详解共4页.pdf.zip
10-31
《Kafka数据可靠性机制详解》 Kafka，作为一款分布式流处理平台，其在大数据领域中的应用日益广泛，尤其在实时消息处理、日志聚合、流处理等方面扮演着重要角色。其数据可靠性机制是Kafka核心特性之一，确保了数据...
Kafka生产者详解（很细）
08-07
### Kafka生产者详解 #### 一、生产者发送消息的过程 Kafka生产者发送消息的过程主要包括以下几个步骤： 1. **消息封装**：首先，生产者将待发送的消息封装成`ProducerRecord`对象，该对象中包含了目标主题(topic...
Kafka源码分析（六）消息发送可靠性——acks
qq_32445015的博客
02-18 1361
接下去几篇关于可靠性的文章全部只讨论一个经典问题： Kafka怎么样才能不丢消息？ 怎么样的情况叫做丢消息？客户端调用future = send(msg, callback)，但是中途报错了，这种情况不叫丢消息。真正丢消息的场景是，客户端调用了future = send(msg, callback)后，Broker已经明确告知客户端，这条消息已经发送成功了（future.isDone为true，或者callback的onSuccess被调用），但是消费者缺永久性消费不到这条数据。 在生产者上，有一个参数
关于kafka的配置acks和min.insync.replicas详解，通俗易懂 一看就会
热门推荐
DraGon_HooRay的博客
03-28 1万+
acks 描述：producer 发送数据服务端的响应级别 acks = all/-1 : 表示kafka isr列表中所有的副本同步数据成功，才返回消息给客户端 acks = 0 ：表示客户端只管发送数据，不管服务端接收数据的任何情况 acks = 1 ：表示客户端发送数据后，需要在服务端 leader 副本写入数据成功后，返回响应 min.insync.replicas 描述：Kafka ISR 列表中最小同步副本数 默认 min.insync.replicas = 1 当 acks = all
acks参数对消息持久化的影响
遥望......
10-20 599
(0)写在前面 　　面试大厂时，一旦简历上写了Kafka，几乎必然会被问到一个问题：说说acks参数对消息持久化的影响? 　　这个acks参数在kafka的使用中，是非常核心以及关键的一个参数，决定了很多东西。 　　所以无论是为了面试还是实际项目使用，大家都值得看一下这篇文章对Kafka的acks参数的分析，以及背后的原理。 　　(1)如何保证宕机的时候数据不丢失? 　　如果要想理解这个acks参数的含义，首先就得搞明白kafka的高可用架构原理。 　　比如下面的图里就是表明了对于每一个Topi
Kafka Producer Acks机制
u013433591的博客
12-29 1639
kafka producer ack机制、min.insync.replicas、生产者如何保证数据不丢
Kafka的ack机制
没有合适的昵称
08-17 5569
Kafka消息传递语义(Message Delivery Semantics) 对于消息传递语义，一般存在三种类型语义: 1.At most once - 消息传递过程中有可能丢失，丢失的消息也不会重新传递，其实就是保证消息不会重复发送或者重复消费 2.At least once - 消息在传递的过程中不可能会丢失，丢失的消息会重新传递，其实就是保证消息不会丢失，但是消息有可能重复发送或者重新被消...
Kafka Producer之ACKS应答机制
最新发布
m0_51390969的博客
07-17 895
无论哪一种，有一个关键的步骤叫做回调，也就是ACKS应答机制。异步发送的效率高，但是不安全，同步发送安全，但是效率低。其中ACKS也分为3个等级。
kafka系列-ack机制
xsxy0506的博客
05-24 4145
1.ack机制 request.required.acks参数表示的是生产者生产消息时，写入到副本的严格程度，决定了生产者如何在性能和可靠性之间做取舍。 acks参数有三个值 ： acks为1时（默认），表示数据发送到Kafka后，经过leader成功接收消息的的确认，才算发送成功，如果leader宕机了，就会丢失数据。 acks为0时， 表示生产者将数据发送出去就不管了，不等待任何返回。这种情况下数据传输效率最高，但是数据可靠性最低，当 server挂掉的时候就会丢数据； acks为-1/all时，表
kafka第二天 acks，reties，幂等性
qq_34850932的博客
10-21 916
acks：kafka的客户端（Producer），发送一条数据，会等待broker返回成功的响应； 有三种配置：ProducerConfig.ACKS_CONFIG=“?” 0：不需要响应，producer发送就完了，不管broker是否消费成功； 1：只需要broker的leader返回响应 就行，不需要followers的同步确认，如果leader返回确认后立即挂了，followers没有同步，数据会丢失 all/-1:all或者-1:表示需要leader和 followers的确认 才行，保证了数据至
Kafka的ACK原理
雪落南城的博客
05-07 9567
SpringBoot yml 配置 原文：https://blog.csdn.net/sheep8521/article/details/89511219 spring: kafka: consumer: group-id: ${spring.application.name} enable-auto-commit: false auto-offset-res...
以下是一个flume的conf文件，请帮我逐行解释一下代码：“#定义三大组件的名称 a.sources = r a.sinks = k1 k2 k3 a.channels = c1 c2 c3 #将数据流复制给所有channel a.sources.r.selector.type = replicating  # 配置Source组件 a.sources.r.type = exec a.sources.r.command = cat /home/bit/novel/novel.csv # kafka a.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a.sinks.k1.kafka.topic = data a.sinks.k1.kafka.bootstrap.servers = localhost:9092 a.sinks.k1.kafka.flumeBatchSize = 20 a.sinks.k1.kafka.producer.acks = 1 a.sinks.k1.kafka.producer.linger.ms = 1 a.sinks.k1.kafka.producer.compression.type = snappy a.channels.c1.type = memory a.channels.c1.capacity = 100000 a.channels.c1.transactionCapacity = 100 # mysql a.sinks.k2.type =com.us.flume.MysqlSink a.sinks.k2.hostname=localhost a.sinks.k2.port=3306 a.sinks.k2.databaseName=novel a.sinks.k2.tableName=table1 a.sinks.k2.user=bit a.sinks.k2.password=123456 a.channels.c2.type = memory a.channels.c2.capacity = 100000 a.channels.c2.transactionCapactiy = 2000 # hdfs a.sinks.k3.type = hdfs a.sinks.k3.hdfs.path = hdfs://localhost:9000/user/bit/novel #积攒多少个Event才flush到HDFS一次 a.sinks.k3.hdfs.batchSize = 100 #设置文件类型，可支持压缩 a.sinks.k3.hdfs.fileType = DataStream #多久生成一个新的文件 a.sinks.k3.hdfs.rollInterval = 5 a.channels.c3.type = memory a.channels.c3.capacity =100000 a.channels.c3.transactionCapacity = 100 # Bind the source and sink to the channel a.sources.r.channels = c1 c2 c3 a.sinks.k1.channel = c1 a.sinks.k2.channel = c2 a.sinks.k3.channel = c3”
05-24
这个conf文件是用来配置Apache Flume进行数据采集、传输和存储的。下面是每一行代码的解释： ``` #定义三大组件的名称 a.sources = r a.sinks = k1 k2 k3 a.channels = c1 c2 c3 ``` 这三行代码定义了三个组件的名称，分别是源（source）、汇（sink）和通道（channel），这些名称将在接下来的配置中被用到。 ``` #将数据流复制给所有channel a.sources.r.selector.type = replicating ``` 这行代码配置了源组件的复制策略，即数据流将会被复制到所有的通道中。 ``` # 配置Source组件 a.sources.r.type = exec a.sources.r.command = cat /home/bit/novel/novel.csv ``` 这两行代码配置了源组件的类型和命令。这里使用的是exec类型的源组件，它会执行一个命令，这个命令将会输出一些数据，这些数据将会被Flume采集并传输到汇组件。 ``` # kafka a.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a.sinks.k1.kafka.topic = data a.sinks.k1.kafka.bootstrap.servers = localhost:9092 a.sinks.k1.kafka.flumeBatchSize = 20 a.sinks.k1.kafka.producer.acks = 1 a.sinks.k1.kafka.producer.linger.ms = 1 a.sinks.k1.kafka.producer.compression.type = snappy ``` 这些代码配置了一个Kafka的汇组件，它将数据发送到一个名为"data"的Kafka主题中。其中kafka.bootstrap.servers指定了Kafka的服务器地址和端口，kafka.flumeBatchSize指定了每个批次发送的事件数量，producer.acks指定了要求的确认级别，producer.linger.ms指定了等待确认的时间，producer.compression.type指定了压缩方式。 ``` a.channels.c1.type = memory a.channels.c1.capacity = 100000 a.channels.c1.transactionCapacity = 100 ``` 这些代码配置了一个类型为内存的通道，它的容量为100000个事件，事务容量为100个事件。 ``` # mysql a.sinks.k2.type =com.us.flume.MysqlSink a.sinks.k2.hostname=localhost a.sinks.k2.port=3306 a.sinks.k2.databaseName=novel a.sinks.k2.tableName=table1 a.sinks.k2.user=bit a.sinks.k2.password=123456 a.channels.c2.type = memory a.channels.c2.capacity = 100000 a.channels.c2.transactionCapactiy = 2000 ``` 这些代码配置了一个MySQL的汇组件，它将数据写入到一个名为"table1"的表中。其中hostname指定了MySQL服务器的地址，port指定了端口号，databaseName指定了数据库名称，user和password指定了登录信息。 ``` # hdfs a.sinks.k3.type = hdfs a.sinks.k3.hdfs.path = hdfs://localhost:9000/user/bit/novel a.sinks.k3.hdfs.batchSize = 100 a.sinks.k3.hdfs.fileType = DataStream a.sinks.k3.hdfs.rollInterval = 5 a.channels.c3.type = memory a.channels.c3.capacity =100000 a.channels.c3.transactionCapacity = 100 ``` 这些代码配置了一个HDFS的汇组件，它将数据写入到HDFS中的一个目录中。其中hdfs.path指定了HDFS的地址和目录，hdfs.batchSize指定了每个批次发送的事件数量，hdfs.fileType指定了文件类型，hdfs.rollInterval指定了多久生成一个新的文件。 ``` # Bind the source and sink to the channel a.sources.r.channels = c1 c2 c3 a.sinks.k1.channel = c1 a.sinks.k2.channel = c2 a.sinks.k3.channel = c3 ``` 这些代码将源组件和汇组件分别绑定到相应的通道上。也就是说，源组件从c1、c2、c3中采集数据，并将数据发送到k1、k2、k3中去。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

流月up

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值