redis stream消费组与kafka的的不同

redis

第5章 stream消费组与kafka的的不同


stream消费组与kafka的的不同


)


前言

Redis流中的消费者群体可能在某种程度上类似于基于Kafka(TM)分区的消费者群体,但请注意,实际上,Redis流非常不同。分区只是逻辑的,消息只是放入一个Redis key中,因此不同客户端的服务方式取决于谁准备好处理新消息,而不是从哪个分区客户端读取。例如,如果消费者C3在某些时候永久失败,Redis将继续为C1和C2提供所有到达的新消息,就好像现在只有两个逻辑分区一样。


同样,如果给定的消费者比其他消费者更快地处理消息,该消费者将在同一时间单位内按比例收到更多的消息。这是可能的,因为Redis会明确跟踪所有未确认的消息,并记住谁收到了哪条消息以及第一条消息的ID从未发送给任何消费者。

然而,这也意味着,在Redis中,如果您真的想将同一流中的消息分区到多个Redis实例中,则必须使用多个键和一些分片系统,如Redis集群或其他特定于应用程序的分擒系统。单个Redis流不会自动分区到多个实例。

我们可以说,从示意图上讲,以下情况是正确的:

1.如果您使用1个流->1个消费者,您将按顺序处理消息。
2.如果您与N个消费者一起使用N个流,以便只有给定的消费者击中N个流的子集,您可以扩展上述1个流->1个消费者的模型。
3.如果您使用1个流->N个消费者,您将对N个消费者进行负载平衡,但在这种情况下,有关同一逻辑项目的消息可能会被不按顺序消耗,因为给定的消费者处理消息3可能比另一个消费者处理消息4的速度快。

因此,基本上,Kafka分区更类似于使用N个不同的Redis key,而Redis消费者组是一个服务器端负载平衡系统,从流到N个不同的消费者的消息。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值