python 实现redis stream类型简单消息队列

class RedisStream(object):
    """
    redis 使用stream 数据结构  实现消息队列  
     使用消费者组模式  实现组内多个消息 分给多个不同的消费者消费
    """
    def __init__(self) -> None:
        self.response = {'code': 200, 'msg': '成功', 'data': None}
        self.conn = redis.StrictRedis(host='127.0.0.1', port=6379)
        self.stream_name = 'stream'
        self.group_name = 'group'
        self.consumer_name = 'consumer1'

    def xadd_info(self, data):
        """添加数据到队列 设置最大长度为2"""
        res = self.conn.xadd(self.stream_name, data, '*', maxlen=2)
        if not res:
            self.response['code'] = 500
            self.response['msg'] = '失败'
        return self.response
    
    def create_group(self):
        """创建消费者组,判断消费者组是否存在"""
        flag = self.check_consumer_group_exists()
        if flag:
            self.response['code'] = 201
            self.response['msg'] = '消费者组已存在'
            return self.response
        else:
            res = self.conn.xgroup_create(self.stream_name, self.group_name, 0)
            if not res:
                self.response['code'] = 500
                self.response['msg'] = '创建消费者组失败'
            return self.response
   
    def consumer(self):
        """消费消息 消费完成标记信息已完成
        '>' : 获取到目前为止,从未传递给其他消费者的消息,并且会更新last_delivered_id,通常都是传递这个参数
        """
        response = self.create_group()
        if response.get('code') == 500:
            return response
        while True:
            res = self.conn.xreadgroup(self.group_name, self.consumer_name, {self.stream_name: '>'}, count=1)
            if not res:
                self.response['code'] = 404
                self.response['msg'] = '当前没有可消费数据'
                return self.response
            for stream, data in res[0][1]:
                message_id = stream.decode('utf-8')
                message_data = dict()
                for key, val in data.items():
                    message_data[key.decode('utf-8')] = val.decode('utf-8')
                self.xack_stream(message_id)

    def xack_stream(self, id):
        """标记消息为已完成"""
        res = self.conn.xack(self.stream_name, self.group_name, id)
        if not res:
            self.response['code'] = 500
            self.response['msg'] = '记录消息处理完成失败'
        return self.response

    def check_consumer_group_exists(self):
        # 获取指定Stream的消费者组列表
        groups = self.conn.xinfo_groups(self.stream_name)
        for group in groups:
            if group['name'].decode('utf-8') == self.group_name:
                return True
        return False


if __name__ == "__main__":
    stream = RedisStream()
    # print(stream.xadd_info({'name': 'gjj', 'sex': 'nv'}))
    # print(stream.xadd_info({'name': 'yyy', 'sex': 'nan'}))
    print(stream.consumer())
  • 8
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Java实现Redis使用Stream作为消息队列的步骤如下: 1.引入Redis客户端依赖 在Java项目中,我们可以使用Jedis、Lettuce等多种Redis客户端,这里以Jedis为例: ``` <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.6.3</version> </dependency> ``` 2.连接Redis服务 连接Redis服务的方式如下: ``` Jedis jedis = new Jedis("localhost", 6379); // 连接本地redis服务 ``` 3.创建Stream 创建一个Stream的方式如下: ``` String key = "mystream"; // Stream名称 String id = "0"; // 消息ID,第一次创建为0 String field1 = "name"; // 消息内容字段1 String value1 = "张三"; // 消息内容字段1的值 String field2 = "age"; // 消息内容字段2 String value2 = "18"; // 消息内容字段2的值 Map<String, String> message = new HashMap<>(); message.put(field1, value1); message.put(field2, value2); jedis.xadd(key, id, message); ``` 创建一个名为“mystream”的Stream,并且在其中添加一条消息,消息ID为0,消息内容为“{'name': '张三', 'age': '18'}”。 4.消费消息 消费消息的方式如下: ``` String consumer = "mygroup"; // 消费者组名称 String consumerName = "consumer1"; // 消费者名称 String count = "2"; // 一次最多消费的消息条数 List<StreamEntry> messages = jedis.xreadgroup(consumer, consumerName, count, 0, true, "mystream", ">"); for (StreamEntry entry : messages) { // 处理消息 Map<String, String> message = entry.getFields(); System.out.println("id:" + entry.getID() + " message:" + message); } ``` 使用消费者组“mygroup”中的消费者“consumer1”来消费“mystream”中的消息,一次最多消费2条消息,消费开始的位置为最新的未读消息(即“>”),如果消息已被读取,则不再进行消费。 以上即为Java如何实现Redis使用Stream作为消息队列的简要步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值