python延时队列_延时队列方案解析：redis-zset方案

最新推荐文章于 2022-06-13 17:29:13 发布
最新推荐文章于 2022-06-13 17:29:13 发布
阅读量750 收藏 2
点赞数
文章标签： python延时队列
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39952031/article/details/111750073
版权
本文介绍了在Python中使用Redis ZSet作为延时队列的方案，适用于处理如超时订单等需要延时操作的业务场景。通过ZSet的排序属性，结合Lua脚本实现原子操作，确保了任务的正确执行。文章还提到了其他延时方案，如RabbitMQ和Python的tornado框架。
摘要由CSDN通过智能技术生成

一、业务场景

1、相关场景：

超时未支付订单，5分钟/30分钟后自动关闭

未收货订单，14天后自动收货

会员到期前3天，短信/邮件通知续费

2、场景特点：

某一事件发生后，某段时间后完成一指定事件

3、场景分析：

对于数据量小，我们可以使用定时任务，一直轮询数据，每秒查一次，取出需要被处理的数据，然后处理，也可以实现这样的操作

但是对于任务量较大，时效性较强的场景，在活动期间数据量可能达到百万甚至千万级别，面对如此庞大的数据量，如果单纯使用轮询方式，可能对数据库造成很大压力，无法满足业务要求而且性能低下

因此我们引入延时队列用于处理此类问题

二、延时队列相关方案

1、redis-zse

利用redis-zset天然的排序属性，把时间戳设置为score，消费者定时获取该执行的数据进行处理，消费者可用Python脚本实现，定时执行可以使用linux定时任务实现。

2、rabbitmq

基本原理：利用rabbitmq中的ttl

推荐阅读【RabbitMQ】一文带你搞定RabbitMQ延迟队列 一文，详细了解。

三、redis-zset + Lua脚本实现延时队列

1、实现原理

zset 自带的排序

2、基本接口

添加任务

删除任务

获取任务

<
最低0.47元/天 解锁文章
weixin_39952031
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
完整案例：实现延迟队列的两种方法
磊哥聊Java
10-28 1996
延迟队列是指把当前要做的事情，往后推迟一段时间再做。 延迟队列在实际工作中和面试中都比较常见，它的实现方式有很多种，然而每种实现方式也都有它的优缺点，接下来我们来看。 延迟队列的使用场景 延迟队列的常见使用场景有以下几种： 超过 30 分钟未支付的订单，将会被取消 外卖商家超过 5 分钟未接单的订单，将会被取消 在平台注册但 30 天内未登录的用户，发短信提醒 等类似的应用...
java 频繁调用redis需要close吗_Redis从入门到深入-Java操作Redis(12)
weixin_42473904的博客
12-03 857
1. Jedis1.1 Jedis简介Java语言连接redis服务JedisSpringData RedisLettuceC、C++、C#、Erlang...1.2 HelloWord（Jedis版）连接redisJedis jedis = new Jedis(“localhost”, 6379);操作redisjedis.set("name","test"); jedis.get("name"...
Java编程行业前景怎样 怎么学好Java中的Redis
qq_43444478的博客
08-03 184
　　Java编程行业前景怎样？怎么学好Java中的Redis？Java基础非常重要，当然也要深入理解原理。很多人好奇Java应该如何正确访问Redis中的海量数据，经过系统的整理汇总后，下面给大家分享一下访问Redis中海量数据的正确姿势。 　　当用户token缓存是采用了【user_token:userid】格式的key，保存用户的token的值。运维为了帮助开发小伙伴们查一下线上现在有多少登录用户，直接使用keys user_token*方式进行查询，这就会导致Redis不可用、假死。 　　该如
python redis队列实现秒杀_redis实现简单延时队列
weixin_36193690的博客
02-03 431
继之前用rabbitMQ实现延时队列，Redis由于其自身的Zset数据结构，也同样可以实现延时的操作Zset本质就是Set结构上加了个排序的功能，除了添加数据value之外，还提供另一属性score，这一属性在添加修改元素时候可以指定，每次指定后，Zset会自动重新按新的值调整顺序。可以理解为有两列字段的数据表，一列存value,一列存顺序编号。操作中key理解为zset的名字，那么对延时队列又...
python消息队列中间件_Delayer 基于 Redis 的延迟消息队列中间件
weixin_39853892的博客
12-17 132
Delayer基于 Redis 的延迟消息队列中间件，采用 Golang 开发，支持 PHP、Golang 等多种语言客户端。参考 有赞延迟队列设计 中的部分设计，优化后实现。应用场景订单超过30分钟未支付，自动关闭订单。订单完成后, 如果用户一直未评价, 5天后自动好评。会员到期前3天，短信通知续费。其他针对某个任务，延迟执行功能的需求。实现原理客户端：push 任务时，任务数据存入 hash ...
annotated_redis-py:Redis Python客户端：redis-py原始注解
03-24
Redis python客户端：redis-py原始注解 关于 本项目是Redis Python客户端redis-py_2.8.0二进制注释版，原始代码： : redis-py代码本身非常精简（主要集中在client.py和connection.py这两个文件），该项目对redis-...
python-redis-queue-sample:python redis任务队列demo, 自备
06-13
任务队列 环境准备 Python Redis # pip install -i http://pypi.douban.com/simple redis RQ # pip install -i http://pypi.douban.com/simple rq Redis Server # docker pull redis:latest # docker run -d -p 6379...
redis-queue-stream:redis 流的消息队列
08-04
快速开始安装$ npm install redis-queue-stream基本用法 const redisQueue = require ( 'redis-queue-stream' ) ;const RedisQ = new redisQueue ( config , option ) ;RedisQ . Pub ( 'send' , { msg1 : 'msg1' , ...
陶器：人类的Redis。 :globe_showing_Americas::globe_showing_Europe-Africa::globe_showing_Asia-Australia:
02-02
陶器是一种访问Redis的Python方法。 如果您知道如何使用Python字典，那么您已经知道如何使用Pottery。 目录 安装 $ pip3 install pottery 用法 首先，设置您的Redis客户端： >> > from redis import...
redis-stream-queue：redis流v5 +上的消息队列。 双流延迟队列
02-15
const { RedisQueue } = require ( 'redis-stream-queue' ) const IORedis = require ( 'ioredis' ) const client = new IORedis ( opt ) const mq = RedisQueue . init ( { client } ) const sKey =
基于python实现操作redis及消息队列
09-08
主要介绍了基于python操作redis及消息队列,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Python 实现延时队列
m0_56938514的博客
12-10 1886
队列的实现 遵循fifo原则 先进先出 #声明队列的类 新的语法糖 队列出口是相对的 #底层实现 #普通队列 from db import Myongo import redis import threading import time import pymysql import requests #声明延时任务 import functools import queue import datetime #导入警告库 from requests.packages.urllib3.except.
013：Redis延时队列
李玺
03-28 2579
我们平时习惯于使用 Rabbitmq 和 Kafka 作为消息队列中间件，来给应用程序之间增加 异步消息传递功能。这两个中间件都是专业的消息队列中间件，特性之多超出了大多数人的理解能力。 使用过 Rabbitmq 的同学知道它使用起来有多复杂，发消息之前要创建 Exchange，再创 建 Queue，还要将 Queue 和 Exchange 通过某种规则绑定起来，发消息的时候要指定 routing...
python 延时_详细讲解：golang实现redis的延时消息队列功能展示（小白必看）
weixin_39995280的博客
12-05 205
今天为大家带来的内容是：详细讲解：golang实现redis的延时消息队列功能展示(小白必看)在学习过程中发现redis的zset还可以用来实现轻量级的延时消息队列功能，虽然可靠性还有待提高，但是对于一些对数据可靠性要求不那么高的功能要求完全可以实现。本次主要采用了redis中zset中的zadd, zrangebyscore 和 zdel来实现一个小demo。提前准备 安装redis， redi...
【Redis】redis.close方法没有
INZT__的博客
06-02 3572
因为在学习redis时，用的学习资料堪称远古时期的教学视频，提供的jedis的jar包是2.0的版本，里面没有.close方法。解决办法是下载一个新的jedis包，导入，把原来的jar包删除，同时刷新项目！！不然会报错！！，会报方法找不到错误。这个问题也卡了我几个小时，网上的资料实在是太少了，希望可以帮助到你...
基于redis实现的延时队列
idwtwt的专栏
03-07 3429
1 需求背景 用户抢单成功之后，如果一定时间后没有完成任务，任务自动取消 用户提交任务审核后，如果商家一定时间后没有审核，任务自动通过 类似的场景比较多 简单的处理方式就是使用定时任务 假如数据比较多的时候 有的数据可能延迟比较严重,而且越来越多的定时业务导致任务调度很繁琐不好管理。 2 技术支撑 Redis 有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。 不同的...
用redis实现延迟队列
zhangsir的博客
04-02 8314
现在在用的redis实现延迟队列的主流程
python ---- 结合redis实现队列
brother_Cheng_Py的博客
12-08 1736
上一篇：python ---- 实现队列 承上文，在python中使用列表来实现队列这种数据结构，为了保留数据，可以使用redis来实现。 原因： redis是nosql，性能优越，在web开发中很多热数据都需要用到；本身数据类型也支持列表。 代码： import redis class TestQueue: def __init__(self): self.r = redis.Redis(decode_responses=True) ...
【Redis基础和应用】(二)延迟队列
Leesure_CSDN的博客
06-13 367
Redis延迟队列
我想将frontend 也是用volumes，将其映射到/app/frontend目录，在/app/frontend下install以及build，如何实现 docker-compose.yml文件： version: '3' services: frontend: build: context: ./frontend dockerfile: Dockerfile ports: - 8010:80 restart: always backend: build: context: ./backend dockerfile: Dockerfile volumes: - /app/backend:/app environment: - CELERY_BROKER_URL=redis://redis:6379/0 command: python manage.py runserver 0.0.0.0:8000 ports: - 8011:8000 restart: always celery-worker: build: context: ./backend dockerfile: Dockerfile volumes: - /app/backend:/app environment: - CELERY_BROKER_URL=redis://redis:6379/0 command: celery -A server worker -l info --pool=solo --concurrency=1 depends_on: - redis - backend restart: always celery-beat: build: context: ./backend dockerfile: Dockerfile volumes: - /app/backend:/app environment: - CELERY_BROKER_URL=redis://redis:6379/0 command: celery -A server beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler depends_on: - redis - backend restart: always redis: image: redis:latest ports: - 6379:6379 restart: always mysql: image: mysql:latest environment: - MYSQL_ROOT_PASSWORD=sacfxSql258147@ ports: - 8016:3306 volumes: - ./mysql:/var/lib/mysql restart: always frontend：dockerfile文件 FROM node:16.18.1 WORKDIR /app/frontend COPY package*.json ./ RUN npm install COPY . . RUN npm run build:prod FROM nginx:latest COPY --from=0 /app/frontend/dist/ /usr/share/nginx/html EXPOSE 80 CMD ["nginx", "-g", "daemon off;"]
最新发布
07-14
command: python manage.py runserver 0.0.0.0:8000 ports: - 8011:8000 restart: always celery-worker: build: context: ./backend dockerfile: Dockerfile volumes: - /app/backend:/app environment...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值