kafka - 消费者其他重要配置

最新推荐文章于 2024-07-22 05:15:00 发布

寒沧

最新推荐文章于 2024-07-22 05:15:00 发布

阅读量1.1w

点赞数

分类专栏：大数据框架

本文链接：https://blog.csdn.net/u011669700/article/details/80022750

版权

本文介绍了Kafka消费者的重要配置，包括fetch.min.bytes（最小获取字节数）、fetch.max.wait.ms（最大等待时间）、max.partition.fetch.bytes（每个分区的最大返回字节数）等，讨论了如何根据业务需求和系统性能调整这些参数，以优化消费者的行为和性能。

摘要由CSDN通过智能技术生成

kafka - 消费者其他重要配置

fetch.min.bytes

该属性指定了消费者从服务器获取记录的最小字节数。broker 在收到消费者的数据请求时，如果可用的数据量小于 fetch.min.bytes 指定的大小，那么它会等到有足够的可用数据时才把它返回给消费者。这样可以降低消费者和 broker 的工作负载，因为它们在主题不是很活跃的时候（或者一天里的低谷时段）就不需要来来回回地处理消息。如果没有很多可用数据，但消费者的 CPU 使用率却很高，那么就需要把该属性的值设得比默认值大。如果消费者的数量比较多，把该属性的值设置得大一点可以降低 broker 的工作负载。

fetch.max.wait.ms

我们通过 fetch.min.bytes 告诉 Kafka，等到有足够的数据时才把它返回给消费者。而 feth.max.wait.ms 则用于指定 broker 的等待时间，默认是 500ms。

如果没有足够的数据流入 Kafka，消费者获取最小数据量的要求就得不到满足，最终导致 500ms 的延迟。如果要降低潜在的延迟（为了满足 SLA），可以把该参数值设置得小一些。如果 fetch.max.wait.ms 被设为 100ms，并且 fetch.min.bytes 被设为 1MB，那么 Kafka 在收到消费者的请求后，要么返回 1MB 数据，要么在 100ms 后返回所有可用的数据，就看哪个条件先得到满足。