队列 管道 python使用redis

最新推荐文章于 2022-01-12 12:08:28 发布
最新推荐文章于 2022-01-12 12:08:28 发布
阅读量569 收藏
点赞数 1
分类专栏： redis 文章标签： 队列 管道 python应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/study_in/article/details/101546378
版权

文章目录

消息通知

任务队列

优点: 1.松耦合 2.易于扩展

BRPOP

功能:当列表中没有元素时BRPOP命令会一直阻塞住连接,直到有新元素加入.

  • BRPOP接受两个参数,第一个是键名,第二个是超时时间,单位是秒.当超过了此时间仍然没有获得新元素就回返回nil.
    当超时时间为0时,表示不限制等待的时间,即如果没有新元素加入列表就会永远阻塞下去
  • 当获得一个元素后BRPOP命令返回两个值,分别是键名和元素值.
打开两个实例:
redisA> BRPOP queue 0   这时会陷入阻塞状态
redisB> LPUSH queue task 实例B向queue中加入一个元素
LPUSH命令执行完后实例A马上就返回了结果 "queue" "task"
  • 除了BRPOP命令从队列右侧取数据外,BLPOP从队列左侧取值
优先级队列
  • BRPOP命令可以接收多个键,其完整的格式为BLPOP key [key…] timeout
例: BLPOP queue:1 queue:2 queue:3
不论queue:3,queue:2中有多少值,都会优先弹出最前面的key值的队列中的值,由此可以配置取值优先级

"发布/订阅"模式

  1. 发布者发布消息(返回值表示接收到这条消息的订阅者数量)
publish channel message
  1. 订阅频道
subscribe channel_name channel_name channel_name...

进入订阅状态客户端可能收到三种类型的回复,每种类型包含3个值,第一个是消息的类型,根据消息类型的不同,第二,三个值的含义也不同,
消息类型取值

  • subscribe.表示订阅成功的反馈信息,第二个值是订阅成功的频道名称,第三个值是当前客户端订阅的频道数量
  • message.这个类型表示接收到的消息,第二个值表示产生消息的频道名称,第三个值是消息的内容
  • unsubscribe.表示成功取消订阅某个频道.第二个值是对应的频道名称,第三个值是当前客户端订阅的频道数量,当此值为0时客户端会退出订阅状态,
    之后就可以执行其他非"发布/订阅"模式的命令了
按照规则订阅

psubscribe channel.?* 订阅指定的规则

  • channel.?*可以匹配channel.1和channel.10,但是不会匹配channel.
  • 收到的结果为第一个值"pmessage"是通过psubscribe命令订阅频道得到的
  • 第二个值"channel.?*" 表示订阅时使用的通配符
  • 第三个值表示实际收到信息的频道命令
  • 第四个值则是消息内容
    注意:
  • 使用PSUBSCRIBE命令可以重复订阅一个频道,如某客户端执行PSUBSCRIBE channel.? channel.?*的话,向channel1.10发送命令该客户端也会收到两个消息,
    而同时PUBLISH命令返回的值也是2而不是1.
  • 如果有另一个客户端执行了SUBSCRIBE channel.10和PSUBSCRIBE channel.?*的话,向channel.10发送该命令该客户端也会收到两条消息
    (但是是两种类型:message和pmessage),同时PUBLISH命令会返回2
  • PUNSUBSCRIBE命令可以退订指定的规则,用法是PUNSUBSCRIBE pattern pattern …没有参数会退订所有规则
  • 使用PUNSUBSCRIBE只能退订通过PSUBSCRIBE命令订阅的规则,不会影响SUBSCRIBE命令订阅的频道;UNSUBSCRIBE同理;
  • 使用PUNSUBSCRIBE命令退订某个规则是时不会将其中的通配符展开,而是进行严格的字符串匹配,所以PUNSUBSCRIBE * 无法退订channel.*规则,
    而是必须使用 PUNSUBSCRIBE channel.*才能退订

管道

  • 通过管道可以一次性发送多条命令并在执行完后一次性将结果返回,当一组命令中每条命令都不依赖于之前命令的执行结果时,就可以将这组命令一起通过管道发出,
  • 管道通过减少客户端与Redis的通信次数来实现降低往返时延累计值的目的
## python使用Redis

# 导入redis包
import redis
# 创建一个默认连接到127.0.0.1,端口为6379的redis连接
r = redis.StrictRedis()
# 也可以显示的指定需要连接的地址
r = redis.StrictRedis(host='127.0.0.1', port=6379, db=0)
# 使用set和get
r.set('foo', 'bar')
r.get('foo')
# 使用hmset和hset
#hset参数为(name, key, value)
r.hset('dict', 'name', 'bob')
# hmset参数为(key, mapping)
r.hmset('dict', {'name': 'bob', 'color': 'red'})
r.hgetall('dict')
# 使用事务
pipe = r.pipeline()
pipe.set('foo', 'bar')
pipe.get('foo')
result = pipe.execute()  # result == [True, b'bar']
# 使用管道 管道的使用方式和事务相同,只不过需要在创建时加上参数transaction=False
pipe = r.pipeline(transaction=False)
# 事务和管道都支持链式调用
result = r.pipeline().set('foo', 'bar').get('foo').execute()
爱学习的狮王
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Django、redis、缓存、消息队列、异步处理框架
suziguai的博客
03-04 1399
本文是作者在接触django框架后使用redis的心得体会，如果有写的不对的地方，还希望各位进行指正，也欢迎大家在评论区进行留言交流。因为本人是面向百度编程，处于想到啥问题百度啥，没有看过系统框架层面的介绍，如果想要了解系统的知识建议查阅官方文档。 业务场景： 1、使用redis缓存网站API接口调用的鉴权token 2、将API结果存入消息队列，以便在消息处理过程中添加人工修改消息处理结果的接口 3、Django异步处理框架（步骤2中的消息处理过程由代码执行-人工智能） 工具包版本： django-cel
redis实例python_使用python操作redis（管道）
weixin_39710295的博客
12-19 154
一、redis连接redis提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。redis连接实例是线程安全的，可以直接将redis连接实例设置为一个全局变量，直接使用。如果需要另一个Redis实例(or Redis数据库)时，就...
Python Redis 管道
Sc.Crits
05-13 208
Redis_管道 ''' 1 非关系型数据库，本身不支持事务 2 redis中的管道可以实现事务的支持（要么都成功，要么都失败） -实现的原理：多条命令放到一个管道中，一次性执行 3 具体代码 4 如果是集群环境，不支持管道 ''' import redis pool = redis.ConnectionPool() r = redis.Redis(connection_pool=pool) pipe = r.pipeline(transaction=True) # 开启事务 pip
使用python操作redis（管道）
python学习者的博客
04-27 1470
一、redis连接 redis提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。 redis连接实例是线程安全的，可以直接将redis连接实例设置为一个全局变量，直接使用。如果需要另一个Redis实例（or Redis数据库）时...
python-redis 管道
dyeee的专栏
09-15 199
redis默认在执行每次请求都会创建（连接池申请连接）和断开（归还连接池）一次连接操作，如果想要在一次请求中指定多个命令，则可以使用pipline实现一次请求指定多个命令，并且默认情况下一次pipline 是原子性操作   #!/usr/bin/env python # -*- coding:utf-8 -*- import redis pool = redis.ConnectionP...
Python操作redis实例小结【String、Hash、List、Set等】
09-09
在实际使用中，还可以利用Redis的其他数据结构如Sorted Set（有序集合）和HyperLogLog等，以及事务、发布订阅、管道等高级特性。了解并熟练掌握这些基本操作对于高效地利用Redis来解决实际问题至关重要。在Python中...
redis in action， java+python
04-11
《Redis in Action：Java+Python》是一本深入探讨Redis数据库使用的书籍，结合了两种主流编程语言——Java和Python，提供了丰富的实战案例和源代码。Redis是一个高性能的键值存储系统，广泛应用于缓存、消息队列、...
毕业设计+Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis
最新发布
09-15
标题中的“Python基于Scrapy+Redis分布式爬虫设计”是一个关于使用Python的Scrapy框架和Redis数据库构建分布式网络爬虫的项目。这个设计通常涉及到在大规模数据抓取时提高效率和处理能力。以下是对这个主题的详细...
Python库 | redis_cooker-2020.11.2-py3-none-any.whl
03-24
**Python库 | redis_cooker-2020.11.2-py3-none-any.whl** ...通过`redis_cooker-2020.11.2-py3-none-any.whl`这个包，你可以在Python 3环境下快速集成和使用Redis，提升你的应用性能和响应速度。
python的一个小任务队列-Python开发
05-25
huey是：用python（2.7+，3.4+）编写的任务队列（2019-04-01：版本2.0），干净且简单的API redis，sqlite或内存中存储示例代码。 huey支持：多进程，亩级轻量级替代方案。 huey是：用python（2.7+，3.4+）编写的任务...
Redis 管道技术（pipeline）
chbxw
06-22 904
Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤： 客户端向服务端发送一个查询请求，并监听Socket返回，通常是以阻塞模式，等待服务端响应。 服务端处理命令，并将结果返回给客户端。 Redis 管道技术   Redis 管道技术可以在服务端未响应时，客户端可以继续向服务端发送请求，并最终一次性读取所有服务端的响应。 ...
通过Redis队列，实现django(python)和Go之间通信
潜心修炼--记录点滴
09-19 1671
go语言写web感觉还是没有django写web那么得心应手，不过利用go的goroute做一些小组件还是很不错的。 django如果需要执行异步任务的话，可以将任务存入Redis队列，然后通过Go写的程序从Redis队列中取出任务，异步执行。比如发送邮件。 做了下简单测试，以下代码是能够实现通信的： python端： import redis,json pool=redis.Co...
分享一下Django + Celery + redis做任务队列可用的版本配置
南来北往技术小栈
01-13 820
小白用Django + Celery + redis做任务队列注意事项 文章目录小白用Django + Celery + redis做任务队列注意事项起因可用配置常见报错redis版本太高（3.0以上）Celery版本太高（4.0以上） 起因 最近又用Celery做任务队列，又遇到了版本不兼容导致的各种异常，经过一番调试后，终于成功。同时也发现，很多文章和帖子都是讲怎么在Django中使用red...
管道操作：redis-pipeline(python)
_Tsun 的博客
12-26 1055
管道（pipeline） 默认情况下，每一次操作redis，都会有一个 连接和断开的操作 如果想在连接和断开之间，执行多个操作，则可以使用pipeline. 除了上面节省 连接和断开的开销外，pipeline 还具备原子性操作。 原子性: 一个事务是一个不可分割的最小工作单位,要么都成功 要么都失败 import redis import time pool = redis.Connecti...
python操作redis用法详解
菜鸡小白的成长记录
11-01 4958
1.简单介绍 安装redis pip install redis Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，而且支持多种存储数据结构，使用也非常简单。本节中，我们就来介绍一下Python的Redis操作。 redis提供两个类Redis和StrictRedis来实现Redis的命令操作。StrictRedis实现了绝大部分官方的命令，参数也一一对应，比如set()方法就对应Redis命令的set方法。 而Redis是StrictRedis的子类，它的主要功能是用于向后兼容旧版本库
python redis 消息队列_基于python实现操作redis及消息队列
weixin_32563347的博客
01-28 534
操作 redisimport redisredisPool = redis.ConnectionPool(host='192.168.100.50', port=6379, db=8)redis= redis.Redis(connection_pool=redisPool)redis.set('key','values')redis.get('com')redis.append('keys','v...
Redis命令、python
JoshuaJosue的博客
08-28 331
目录 Redis Brpop Redis DEL Redis Hdel Redis Hgetall Redis Lpush Redis Llen Redis Lrem Redis Ltrim Python中函数调用：   Redis Brpop 命令移出并获取列表的最后一个元素， 如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止。 redis Blpop ...
Python操作Redis详解
热门推荐
大圣的博客
01-12 3万+
介绍 Redis是一个开源的基于内存也可持久化的Key-Value数据库，采用ANSI C语言编写。它拥有丰富的数据结构，拥有事务功能，保证命令的原子性。由于是内存数据库，读写非常高速，可达10w/s的评率，所以一般应用于数据变化快、实时通讯、缓存等。但内存数据库通常要考虑机器的内存大小。 Redis有16个逻辑数据库（db0-db15），每个逻辑数据库项目是隔离的，默认使用db0数据库。若选择第2个数据库，通过命令 select 2 ，python中连接时可以指定数据库。 常用数据结构 Str
Python操作Reids之任务队列
KWSY2008的专栏
10-27 6157
使用redis的lpush 和 brpop，我们可以实现一个简单模式的分布式程序。分布式，其实我也是一知半解，所以，就按照我所理解的分布式进行说明吧。 一个系统，采用了分布式的部署，假设有三个节点，通俗点说，三台机器上放了三个一模一样的程序，那么同时运行这三个程序时，如果他们要对同一个资源进行独占的访问，就会引发他们之间的竞争，由于是独占的，一个占了，其他两个就得站在那里干等着，如此以来，还是一
python 使用redis 工程化的写法
05-26
Redis 是一个非常流行的内存数据存储系统，它可以用于缓存、分布式锁、消息队列等场景。在 Python 中，我们通常使用 Redis 的 Python 客户端库——redis-py 来操作 Redis。 下面是 Redis 工程化的 Python 写法： 1. 安装redis-py ```python pip install redis ``` 2. 连接 Redis ```python import redis # 创建连接池 pool = redis.ConnectionPool(host='localhost', port=6379, db=0) # 创建 Redis 客户端 r = redis.Redis(connection_pool=pool) # 测试连接是否成功 print(r.ping()) # 输出：True ``` 3. 设置键值对 ```python # 设置键值对 r.set('name', 'John') # 获取值 name = r.get('name') print(name.decode()) # 输出：John ``` 4. 设置过期时间 ```python # 设置键值对，并设置过期时间为 60 秒 r.setex('name', 60, 'John') # 获取值 name = r.get('name') print(name.decode()) # 输出：John # 等待 60 秒后获取值 time.sleep(60) name = r.get('name') print(name) # 输出：None ``` 5. 使用管道操作 ```python # 创建管道 pipe = r.pipeline() # 将多个命令放入管道中 pipe.set('name', 'John') pipe.set('age', 18) # 执行命令 pipe.execute() # 获取值 name = r.get('name') age = r.get('age') print(name.decode(), age.decode()) # 输出：John 18 ``` 6. 使用 Lua 脚本 ```python # 定义 Lua 脚本 script = """ local counter = redis.call("incr", KEYS[1]) if tonumber(counter) == 1 then redis.call("expire", KEYS[1], ARGV[1]) return 1 elseif tonumber(counter) > tonumber(ARGV[2]) then return 0 else return 1 end """ # 加载 Lua 脚本 script_sha = r.script_load(script) # 执行 Lua 脚本 result = r.evalsha(script_sha, 1, 'limit:127.0.0.1', 60, 10) print(result) # 输出：1 ``` 以上是 Redis 工程化的 Python 写法，可以更好地适应实际项目的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值