redis队列使用基于python的redis操作

redis-python简单交互

关于redis服务的搭建和安装以及如何在阿里云上部署可以看我之前的文章，上面有详细的说明。
redis是否安装成功，可以测试，输入命令redis-cli，如果正常再输入ping，看是否回复pong。如果一切正常就是安装成功了。不成功的话再看我之前的文章的详细说明。

python直接连接redis，并进行简单设置操作

下面的代码进行了redis服务的连接，并设置参数测试。
easy_redis.py

#-*-coding:utf-8-*-
import redis

# redis连接
re_data = redis.Redis(host='localhost', port=6379 )

# key value存储到redis数据库
re_data.set('chinese', 'python')

# 根据key获取存的数据的内容
data_info = re_data.get('chinese')

# 输出从redis库中取出来的数据的内容
print(data_info) #结果会输出 b'python'

python通过连接池连接redis，并进行简单设置操作

在每次使用redis都进行连接的话会拉低redis的效率，都知道redis是基于内存的数据库，效率贼高，所以每次进行连接比真正使用消耗的资源和时间还多。所以为了节省资源，减少多次连接损耗，连接池的作用相当于缓存了多个客户端与redis服务端的连接，当有新的客户端来进行连接时，此时，只需要去连接池获取一个连接即可，实际上连接池就是把一个连接共享给多个客户端，可以说是广播，要用的话就去接收。
pool_redis.py

#-*-coding:utf-8-*-
import redis

# 连接池连接使用，节省了每次连接用的时间
conn_pool = redis.ConnectionPool(host='localhost',port=6379)

# 第一个客户端访问
re_pool = redis.Redis(connection_pool=conn_pool)
# 第二个客户端访问
re_pool2 = redis.Redis(connection_pool=conn_pool)


# key value存储到redis数据库
try:
    re_pool.set('chinese1', 'hello_world')
    re_pool2.set('chinese2', 'hello_python')
except Exception as e:
    print(e)

# 根据key获取存的数据的内容
data_info = re_pool.get('chinese1')
data_info2 = re_pool.get('chinese2')

# 输出从redis库中取出来的数据的内容
print(data_info)
print(data_info2)
# 获取两个连接的信息
id1 = re_pool.client_list()
id2 = re_pool2.client_list()
# 输出两个连接的id,判断是否一致
print('re_pool_id{}======re_pool2_id{}'.format(id1[0]['id'], id2[0]['id']))
# 整个程序输出结果
b'hello_world'
b'hello_python'
re_pool_id30======re_pool2_id30

可以看出两个redis的连接id相同，是同一个连接。

redis队列操作redis-MQ

redis的队列效率高，而且简单易用。下面我说一个最近项目中的需求，来介绍reids队列，更容易理解并且当你也有这种项目中类似的需求的时候可以很轻松的拿来用。
首先我的项目需要根据传递的不同的参数，爬取境外网站的一些内容，例如facebook中。但是项目目前的服务器不能翻墙，所以要在另一台服务器上运行爬虫，在目前项目服务器上传参数给翻墙过的服务器用来运行爬虫。

lpush, lrange

首先我需要把参数塞到redis服务，现在第一步从左往右插入队列。用lpush，然后用lrange直接验证是否插入成功，代码如下：
push_params.py

#-*-coding:utf-8-*-

import redis
import json

# redis连接
re_queue = redis.Redis(host='localhost', port=6379 )

# 顺序插入五条数据到redis队列，sort参数是用来验证弹出的顺序
num = 0
for i in range(0, 5):
    num = num + 1
    # params info
    params_dict = {"channel":"facebook", "operate":"publish", "sort":num}
    # 从左往右入队到redis
    re_queue.lpush("params_info", json.dumps(params_dict))

# 查看目标队列数据
result = re_queue.lrange("params_info", 0, 10)
print(result)
# 结果输出
# [b'{"channel": "facebook", "operate": "publish", "sort": 5}', b'{"channel": "facebook", "operate": "publish", "sort": 4}', b'{"channel": "facebook", "operate": "publish", "sort": 3}', b'{"channel": "facebook", "operate": "publish", "sort": 2}', b'{"channel": "facebook", "operate": "publish", "sort": 1}']

rpop

从左往右，第一个进的肯定是在最右边，要处理第一个，就要从右往左弹出，代码如下：
pop_params.py

#-*-coding:utf-8-*-

import redis
import json


# redis连接
re_queue = redis.Redis(host='localhost', port=6379)

for i in range(0, 5):
    result = re_queue.rpop("params_info")
    print(result)
    
# 结果输出
#b'{"channel": "facebook", "operate": "publish", "sort": 1}'
#b'{"channel": "facebook", "operate": "publish", "sort": 2}'
#b'{"channel": "facebook", "operate": "publish", "sort": 3}'
#b'{"channel": "facebook", "operate": "publish", "sort": 4}'
#b'{"channel": "facebook", "operate": "publish", "sort": 5}'

rpush,lpop

rpush从右往左入队，第一个在最左边，把上边lpush改成rpush，输出结果如下：

[b'{"channel": "facebook", "operate": "publish", "sort": 1}', b'{"channel": "facebook", "operate": "publish", "sort": 2}', b'{"channel": "facebook", "operate": "publish", "sort": 3}', b'{"channel": "facebook", "operate": "publish", "sort": 4}', b'{"channel": "facebook", "operate": "publish", "sort": 5}']

lpop从左边弹出结果如下：
把上边rpop改成lpop，输出结果如下：

b'{"channel": "facebook", "operate": "publish", "sort": 1}'
b'{"channel": "facebook", "operate": "publish", "sort": 2}'
b'{"channel": "facebook", "operate": "publish", "sort": 3}'
b'{"channel": "facebook", "operate": "publish", "sort": 4}'
b'{"channel": "facebook", "operate": "publish", "sort": 5}'

小结

这些出对入队的方式理解了之后，你就对redis的队列有了一定的认识，最终到底怎么用，还是看你的项目需要了。真正的项目应用中，是在原来项目中把另一台服务器需要的参数传到目标redis服务端，地址也不是localhost，需要你把localhost改成目标host，端口也需要根据你们设置的端口进行更改，默认的是6379。push到redis队列之后，接下来就要在你需要的服务器上取出redis队列中的参数，现在你取出参数之后就要根据参数的区别进行不同的调用了。