redis stream 实现消息队列
Redis5.0带来了Stream类型。从字面上看是流类型,但其实从功能上看,应该是Redis对消息队列(MQ,Message Queue)的完善实现。
基于redis实现消息队列的方式有很多:
- PUB/SUB,订阅/发布模式
- 基于List的 LPUSH+BRPOP 的实现
redis 实现消息对列4中方法
发布订阅
发布订阅优点: 典型的一对的,所有消费者都能同时消费到消息。主动通知订阅者而不是订阅者轮询去读。
发布订阅缺点: 不支持多个消费者公平消费消息,消息没有持久化,不管订阅者是否收到消息,消息都会丢失。
使用场景:微服务间的消息同步,如 分布式webSocker,数据同步等。
list 队列
生产者通过lpush生成消息,消费者通过blpop阻塞读取消息。
**list队列优点:**支持多个消费者公平消费消息,对消息进行存储,可以通过lrange查询队列内的消息。
**list队列缺点:**blpop仍然会阻塞当前连接,导致连接不可用。一旦blpop成功消息就丢弃了,期间如果服务器宕机消息会丢失,不支持一对多消费者。
zset 队列
生产者通过zadd 创建消息时指定分数,可以确定消息的顺序,消费者通过zrange获取消息后进行消费,消费完后通zrem删除消息。
zset优点: 保证了消息的顺序,消费者消费失败后重新入队不会打乱消费顺序。
zset缺点: 不支持一对多消费,多个消费者消费时可能出现读取同一条消息的情况,得通过加锁或其他方式解决消费的幂等性。
zset使用场景:由于数据是有序的,常常被用于延迟队列,如 redisson的DelayQueue
Stream 队列
Redis5.0带来了Stream类型。从字面上看是流类型,但其实从功能上看,应该是Redis对消息队列(MQ,Message Queue)的完善实现。
参考kafka的思想,通过多个消费者组和消费者支持一对多消费,公平消费,消费者内维护了pending列表防止消息丢失。
提供消息ack机制。
基本命令
xadd 生产消息
往 stream 内创建消息 语法为:
XADD key ID field string [field string …]
# * 表示自动生成id redis会根据时间戳+序列号自动生成id,不建议我们自己指定id
xadd stream1 * name zs age 23
读取消息
读取stream内的消息,这个并不是消费,只是提供了查看数据的功能,语法为:
XREAD [COUNT count] [BLOCK milliseconds] STREAMS key [key …] ID [ID …]
#表示从 stream1 内取出一条消息,从第0条消息读取(0表示最小的id)
xread count 1 streams stream1 0
#表示从 stream1 内 id=1649143363972-0 开始读取一条消息,读取的是指定id的下一条消息
xread count 1 streams msg 1649143363972-0
#表示一直阻塞读取最新的消息($表