Kafka优化，Kafka生产者参数配置详解

最新推荐文章于 2024-09-13 15:46:39 发布

你说个der

最新推荐文章于 2024-09-13 15:46:39 发布

阅读量3.5k

点赞数 1

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.csdn.net/yxf19034516/article/details/108866526

版权

Kafka 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

max.in.flight.requests.per.connection

timeout.ms、request.timeout.ms和metadata.fetch.timeout.ms

max.block.ms

max.request.size

receive.buffer.bytes和send.buffer.bytes

前言

本文节选自《Kafka权威指南》一书，内容比较权威。

生产者有很多可配置的参数，在 kafka文档里都有说明，它们大部分都有合理的默认值，所以没有必要去修改它。不过有几个参数在内存使用、性能和可靠性方面对生产者影响比较大，接下来我们会一一说明。

参数详解

acks

默认：1

acks 参数指定了必须要有多少个分区副本收到消息，生产者才会认为消息写入是成功的。这个参数对消息丢失的可能性有重要影响。主参数有如下选项。

如果 acks=0 ，生产者在成功写入消息之前不会等待任何来自服务器的相应。也就是说，如果当中出现了问题，导致服务器没有收到消息。那么生产者就无从得知，消息也就丢失了。不过因为生产者不需要等待服务器响应，所以它可以以网络能够支持的最大速度发送消息，从而达到很高的吞吐量。
如果 acks=1 ，只要集群的 leader 节点收到消息，生产这就会收到一个来自服务器的成功响应。如果消息无法达到 leader 节点（比如 leader 节点崩溃，新的 leader 还没有被选举出来），生产者会收到一个错误响应，为了避免数据丢失，生产者会重发消息。不过，如果一个没有收到消息的节点成为新 leader ，消息还是会丢失。这个时候的吞吐量取决于使用的是同步发送还是异步发送。如果让发送客户端等待服务器的响应（通过调用 Future 对象的 get() 方法），显然会增加延迟（在网络上传输一个来回的延迟）。如果客户端使用回调，延迟问题就可以得到缓解，不过吞吐量还是会受发送中消息数量的限制（比如，生产者在收到服务器响应之前可以发送多少个消息）。
如果 acks=-1 ，只有当所有参与复制的节点都收到消息时，生产这会收到一个来自服务器的成功响应。这种模式是最安全的，它可以保证不止一个服务器收到消息，就算有服务器发生崩溃，整个集群仍然可以运行。不过，它的延迟比 acks=1 时更高，因为我们要等待不只一个服务器节点接收消息。

buffer.memory

默认：32MB

该参数用来设置生产者内存缓冲区的大小，生产者用它缓冲要发送到服务器的消息。如果应用程序发送消息的速度超过发送到服务器的速度，会导致生产者空间不足。这个时候，send() 方法调用要么被阻塞，要么抛出异常，取决于如何设置 block.on.buffe.full 参数（在0.9.0.0 版本里被替换成了 max.block.ms ，表示在抛出异常之前可以阻塞一段时间）。

compression.type

默认：none

默认情况下，消息发送时不会被压缩。该参数可以设置成 snappy，gzip或lz4，它指定了消息发送给 broker 之前使用哪一种压缩算法。snappy压缩算法由 Google 发明，它占用较少的CPU，却能提供较好的性能和相当可观的压缩比，如果比较关注性能和网络带宽，可以使用这种压缩算法。gzip压缩算法一般会占用比较多的CPU，但会提供更高的压缩，所以如果网络带宽有限，可以使用这种算法。使用压缩可以降低网络传输开销和存储开销，而这往往是向kafka发送消息的瓶颈所在。

retires

默认：0

生产者从服务器收到的错误有可能是临时性的错误（比如分区找不到 leader ）。在这种情况下，retires 参数的值决定了生产者可以重发消息的次数，如果达到这个次数，生产者会放弃重试并返回错误。默认情况下，生产者会在每次重试之间等待100ms，可以通过 retry.backoff.ms 参数来修改这个时间间隔。建议在设置重试次数和等待间隔之前，先测一下恢复一个崩溃节点需要多少时间（比如所有分区选举出 leader 需要多长时间），让总的重试时间比kafka集群从崩溃中恢复的时间长，否则生产者会过早的放弃重试。不过有些错误不是临时性错误，没办法通过重试来解决（比如消息太大错误）。一般情况下，因为生产者会自动重试，所以没必要在代码逻辑里处理那些可重试的错误，你只需要处理那些不可能重试错误或重试次数超过上限的情况。

batch.size

默认：16KB

当有多个消息要被发送到同一个分区时，生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小，按照字节数计算（而不是消息个数）。当批次被填满，批次里的所有消息会被发送出去。不过生产者并不一定都会等到批次被填满才发送，半满的批次，甚至只包含一个消息的批次也可能被发送。所以就算把 batch.size 设置的很大，也不会造成延迟，只会占用更多的内存而已，如果设置的太小，生产者会因为频繁发送消息，会增加一些额外的开销。

linger.ms

默认：0

该参数指定了生产者在发送批次之前等待更多消息加入批次的时间。KafkaProducer 会在批次填满或 linger.ms 达到上限时把批次发送出去。默认情况下，只要有可用的线程，就算批次里只有一个消息，生产者也会把消息发送出去。把 linger.ms 设置成大于0的数，让生产者在发送批次前等一会，使更多的消息加入这个批次，虽然这样做会增加延迟，但也会提高吞吐量。

client.id

默认：""

该参数可以是任意的字符串，服务器会用它识别消息的来源，还可以用在日志和配额指标里。

max.in.flight.requests.per.connection

默认：5

该参数指定了生产者在收到服务器响应之前可以发送多少消息。它的值越高，就会占用越多的内存，不过也会提升吞吐量。把它设为1可以保证消息是按照发送的顺序写入服务器的，即使发生了重试。

timeout.ms、request.timeout.ms和metadata.fetch.timeout.ms

默认：

timeout.ms：

request.timeout.ms：30s

metadata.fetch.timeout.ms：

request.timeout.ms 指定了生产者在发送数据时等待服务器返回响应的时间，metadata.fetch.timeout.ms 指定了生产这在获取元数据（比如目标分区的 leader 是谁）时等待服务器返回响应的时间。如果等待响应超时，那么生产者要么重试发送数据，要么返回一个错误（抛出异常或者执行回调）。timeout.ms 指定了 broker 等待同步副本返回消息确认的时间，与 acks 的配置相匹配——如果在指定时间内没有收到同步副本的确认，那么 broker 会返回一个错误。

max.block.ms

默认：60s

该参数指定了在调用 send() 方法或使用 partitionsFor() 方法获取元数据时生产者的阻塞时间。当生产者的缓冲区已满，或没有可用的元数据时，这些方法就会阻塞。在阻塞时间达到 max.block.ms 时，生产者抛出超时异常。

max.request.size

默认：1MB

该参数用于控制生产者发送的请求大小，它可以指定能发送的单个消息的最大值，也可以指单个请求里所有消息的总大小。例如，假设这个值为 1MB，那么可以发送的单个最大消息为 1MB ，或者生产者可以在单个请求里发送一个批次，该批次包含了 1000 个消息，每个消息大小为 1KB。另外， broker 对可接收的消息最大值也有自己的限制（message.max.bytes），所以两边的配置最好可以匹配，避免生产者发送的消息被 broker 拒绝。