Kafka 订阅模式 批量消费学习笔记

做需求的时候遇到了相关业务，记录下学到的知识

常见的消息队列的消费者消费策略有哪些？

• 轮询（Round Robin）：消费者按照顺序依次从消息队列中获取消息，每个消费者都有机会消费消息。这种策略适用于消费者之间的负载均衡。

• 广播（Broadcast）：每个消费者都会接收到相同的消息副本，每个消费者都独立地处理消息。这种策略适用于需要将消息发送给所有消费者的场景。

• 订阅（Subscribe）：消费者可以订阅特定的主题（topic）或者标签（tag），只接收符合订阅条件的消息。这种策略适用于需要根据消息的内容或者属性进行过滤的场景。

• 并行消费（Parallel
  Consumption）：多个消费者同时从消息队列中获取消息，并行地进行消费。这种策略可以提高消费的吞吐量和处理能力。

• 持久化订阅（Durable
  Subscription）：消费者可以创建持久化订阅，即使消费者离线一段时间后重新连接，仍然可以接收到之前未消费的消息。这种策略适用于需要保证消息不丢失的场景。

• 批量消费（Batch
  Consumption）：消费者可以一次性获取多个消息进行批量处理，减少网络开销和提高处理效率。这种策略适用于需要高效处理大量消息的场景。

订阅模式下的批量消费的消费策略是怎样的？

消费者会等待直到满足以下条件之一才会返回批次：

• 已经拉取到了max.poll.records条消息。
• 已经达到了fetch.max.bytes配置的最大字节数限制。
• 已经达到了fetch.max.wait.ms配置的最大等待时间。

fetch.max.wait.ms作用

fetch.max.wait.ms是Kafka消费者的配置参数之一，用于指定消费者在没有可用消息时等待的最大时间。

当消费者向Kafka集群发送拉取请求以获取消息时，如果当前没有可用的消息，消费者可以选择等待一段时间，以便有新的消息可供消费。这个等待时间由fetch.max.wait.ms参数控制。

fetch.max.wait.ms的默认值是500毫秒。这意味着如果消费者在拉取请求后的500毫秒内没有收到新的消息，它将返回空的消息集合。消费者可以根据自己的需求调整这个参数，以平衡消费的实时性和网络开销。较小的值可以提高实时性，但可能增加网络开销，而较大的值可以减少网络开销，但可能降低实时性。

kafka订阅模式 批量消费 ，消费时会把多个message的参数合并吗？

在Kafka的订阅模式下，消费者在批量消费时，Kafka会将多个消息的参数合并成一个参数。

当消费者从Kafka集群中拉取消息时，Kafka会将一批消息打包成一个消息集合（batch），然后将这个消息集合作为参数传递给消费者进行处理。消费者可以通过配置参数来控制每个批次中包含的消息数量。

在消费者代码中，你可以通过访问消息集合的属性或方法来获取每个消息的具体内容。例如，你可以使用迭代器来遍历消息集合中的每个消息，并对每个消息进行处理。

请注意，消息集合中的消息顺序可能与消息在Kafka中的顺序不完全一致。这是因为Kafka使用分区机制来分布消息，并且每个分区都有自己的消费者。因此，消息集合中的消息可能来自不同的分区，并且可能按照分区的顺序进行排序。

总结起来，Kafka的订阅模式下，消费者在批量消费时会将多个消息的参数合并成一个参数，你可以通过访问消息集合的属性或方法来获取每个消息的具体内容。