使用Redis搭建消息队列（python版）

最新推荐文章于 2024-10-01 08:44:17 发布
最新推荐文章于 2024-10-01 08:44:17 发布
阅读量7.5k 收藏 17
点赞数 1
分类专栏： python 工作分享 文章标签： python 消息队列 Redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_Gorgre/article/details/123763309
版权
为解决月初1500左右的异常考勤提醒推送问题，从同步定时任务升级到异步处理，最终选择使用Redis作为消息队列。通过发布订阅模式，实现了发送和接收消息的功能。文中分享了实现过程中的坑以及代码实现，强调了接收方必须先于发送方启动以确保消息发送成功。
摘要由CSDN通过智能技术生成

最近在工作中遇到了一个场景是这样的：

每到月初我们需要向上个月考勤有异常的同学的企业微信推送异常考勤提醒，让有异常的同学及时处理：补卡或者提交对应的请假申请等等。之前的做法是直接循环数据库，查处有异常的同学的考勤数据，然后推送给到相关的同学。一次推送的数据量在1500左右。

这种方法存在的问题，因为是通过同步的定时任务的方式，会因为数据量太大导致定时任务执行超时，导致事务回滚，数据库中未创建对应消息的记录，所以导致消息无法确认。

在发现这个问题之后，我们的第一反应是把定时任务做成异步的，修改的实现方式是，添加一个异步的装饰器，在定时任务触发之后，在后台另外开启一个线程执行查找异常考勤和发送异常消息。

   

当然这种可以解决问题，但不是最优解，所以在新版本的时候，我们就考虑使用消息队列MQ的方式来解决消息的推送问题，最开始我的设想是使用RabbitMQ的发布订阅模式来解决，但是在和公司运维了解情况后发现，公司使用的腾讯云对RabbitMQ的支持并不是很好，和运维沟通后决定使用Redis来实现消息队列。

由于之前也没有基于Redis的实践，所以我其实是在网上找了一些资料，才把问题解决。

  先说结论，基于Redis的实现其实是相当简单的，网上也有现成的代码可供参考，我在post出相关代码之后，会列出我在实现的过程中遇到哪些坑。

代码实现&

最低0.47元/天 解锁文章
baby_in_car
关注
专栏目录
python 基于 sqlite 实现消息队列
shiter编写程序的艺术
05-23 720
一个纯基于python 实现的消息队列。我们自然的想到使用sqlite 来进行搭建。
Redis python搭建分布式的基本操作
Agly_Charlie的博客
11-17 3064
用python操作redis浅浅地实现分布式写在前面：系统的ubuntu14.04，语言：python ubuntu下载的redis的方式很多，都是直接下载，不用安装的，很绿色，很环保。只要进入到对应的目录下唉启动文件就可以啦。 以我下载的版本为例： - 第一步找到../redis-3.2.0/src/redis-server文件，在终端下找到该文件 - redis-server -
【Redis—20】利用python实现Redis消息列队
我是一只程序⚪的技术交流平台
04-16 408
既然是消息列队，那肯定会借助到Redis数据结构中的list list 这个数据类型，在python里是一个列表，在redis里就是一个有序队列(或者说数据链表)了。 类型图示如下： 通过这个结构就可以对list很清楚了，我们可以利用list的数据接口模式，设计从左端和右端都可以对list进元素的同向处理(满足队列的特性先到先出)。 1、从左端插入元素 from redis import Str...
基于python实现操作redis及消息队列
09-08
主要介绍了基于python操作redis及消息队列,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
【数据库】深入Redis与Python操作指南：高效内存存储与应用场景解析
最新发布
易辰的博客
10-01 2407
Redis（Remote Dictionary Server）是一个开源的、基于内存的键值存储数据库，支持多种数据结构，具有高性能、持久化等特点。它常被称为 "NoSQL" 数据库之一，专为快速访问和处理大量数据设计，广泛应用于缓存、实时分析、消息队列等场景。Redis 提供了丰富的指令操作，涵盖基本的键值存储、列表、集合、有序集合、哈希等常用数据结构的操作。同时，Redis 还支持事务、持久化、发布订阅等功能。熟练掌握这些 Redis 的指令操作，可以帮助你在各种场景下高效管理和操作 Redis 数据库。
python使用redis_Python使用redis的消息队列
weixin_39605647的博客
11-23 186
原标题：Python使用redis的消息队列 Redis 服务1、安装yum install redis2、 python安装支持模块/opt/python2.7.13/bin/pip install redis3、 和redis的简单直接交互In [1]: import redisIn [2]: rc = redis.Redis(host='192.168.8.237',port=6379,de...
Python使用redis的消息队列
weixin_43226231的博客
07-15 715
Redis 服务 　　1、安装 　　yum install redis 　　2、 python安装支持模块 　　/opt/python2.7.13/bin/pip install redis 　　3、 和redis的简单直接交互 　　In [1]: import redis 　　In [2]: rc = redis.Redis(host='192.168.8.237',port...
python 操作redis 消息队列
xiaoxiaodechongzi的博客
10-12 938
连接到Redis：在你的代码中，你需要使用适当的Redis客户端库连接到Redis数据库。在使用Redis的消息队列时，当订阅者接收到消息后，消息的类型取决于所使用的Redis客户端库。请注意，在不同的编程语言和Redis客户端库中，具体的方法调用可能会有所不同，但基本思想是一致的。因此，在实际使用过程中，请查阅所使用Redis客户端库的文档，并根据需要进行相应的转换操作。当订阅者接收到消息时，可以根据约定好的序列化方法对消息进行反序列化，以读取字典类型的数据。1 使用JSON序列化。
用redis实现支持优先级的消息队列
weixin_33774883的博客
08-13 488
用redis实现支持优先级的消息队列 为什么需要消息队列 系统中引入消息队列机制是对系统一个非常大的改善。例如一个web系统中，用户做了某项操作后需要发送邮件通知到用户邮箱中。你可以使用同步方式让用户等待邮件发送完成后反馈给用户，但是这样可能会因为网络的不确定性造成用户长时间的等待从而影响用户体验。 有些场景下是不可能使用同步方式等待完成的，那些需要后台花费大量时间的操作。例如极...
基于redis实现的消息队列
06-03
标题中的“基于redis实现的消息队列”指的是使用Redis这一开源数据结构存储系统来构建消息队列（Message Queue, MQ）的解决方案。Redis以其高性能、丰富的数据结构和内存存储特性，常被用作构建消息队列的底层技术。...
一个使用scrapy和redis搭建的分布式爬虫搜索引擎
02-23
3. **中间件通信（Middleware Communication）**: Redis可以作为一个消息队列，用于爬虫节点之间的通信，比如错误报告、统计信息等。 4. **结果存储（Result Storage）**: 抓取到的数据可以暂存于Redis，然后由另一...
用Redis做一个简单的消息队列
08-21
用Redis做的一个简单的消息队列
python redis 实现队列
python小菜鸡的博客
05-29 2022
import redis pool = redis.ConnectionPool(host='127.0.0.1') class RedisQueue(object): def __init__(self, name, namespace='queue'): self.__db= redis.Redis(connection_pool=pool) sel...
Python实战：Redis缓存与消息队列
oandy0的博客
03-30 695
本文将深入探讨Python中使用Redis进行缓存与消息队列的方法。我们将从基础开始，逐步深入，包括Redis的安装、连接、数据缓存、消息队列的实现、分布式锁、事务处理等。
python使用redis实现消息队列（异步实现）完整例程
brandon_l的博客
12-29 2904
最近在用fastapi框架开发web后端，由于近几年python异步编程大火，fastapi凭借高性能也火了起来。本篇介绍了在异步环境下实现redis消息队列的方法，代码可以直接拷贝到fastapi中使用。
python-redis-消息队列
qq_45939519的博客
11-11 968
python-redis-消息队列 生产消费者模式 class redisConsumer(object): def __init__(self): self.con = redis.StrictRedis(host='192.168.234.241', port=63792, db=8) self.queue = "job" def push(self, **kwargs): for subKargs in kwargs['datas']
python使用redis队列_python下使用redis构造一个简单的队列（翻译）
weixin_30865253的博客
12-28 608
本文展示了如何使用redis构建一个简单的多生产者，多消费者队列并且提供类似python标准库queue一样的接口。你可以使用这个队列方便的从多个进程或者耗时的计算到多个消费者进程之间共享数据。 我们使用redis列表来保存数据。redis列表按照字符串插入的顺序保本文展示了如何使用redis构建一个简单的多生产者，多消费者队列并且提供类似python标准库queue一样的接口。你可以使用这个队列...
python redis 消息队列_python RabbitMQ队列/redis
weixin_33295463的博客
02-19 144
标签：RabbitMQ队列安装http://www.rabbitmq.com/install-standalone-mac.html安装python rabbitMQ module实现最简单的队列通信produce1 importpika2 connection = pika.BlockingConnection(pika.ConnectionParameters("192.168.244.13...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值