Python操作Reids之任务队列

使用redis的lpush 和 brpop，我们可以实现一个简单模式的分布式程序。分布式，其实我也是一知半解，所以，就按照我所理解的分布式进行说明吧。

一个系统，采用了分布式的部署，假设有三个节点，通俗点说，三台机器上放了三个一模一样的程序，那么同时运行这三个程序时，如果他们要对同一个资源进行独占的访问，就会引发他们之间的竞争，由于是独占的，一个占了，其他两个就得站在那里干等着，如此以来，还是一个程序在跑。我们用分布式，是希望同时运行多个一模一样的程序，既好管理，也容易增减。这其实就涉及到了一个关键的问题，就是任务的分配。程序一模一样，但我们可以给他们不同的任务啊，每个程序对任务处理的方式都是一样的，因此，我们只需要再增加一个任务发布的程序就好了，这个程序负责向其他三个程序发布任务，三个程序再收到各自的任务后，执行任务即可。

为了方便的增减节点，就需要发布任务的程序不必考虑有多少个节点在等待任务，他只管发布。每一个节点之间也不必管其他节点是怎么想的，只管去任务池里去取任务，拿得到任务就干活，拿不到就歇着。

就按照这个思路，我们利用redis的队列来实现这个超简单的分布式程序。

首先，我们需要一个发布任务的程序：

# coding=utf-8
'''
Created on 2015-9-11

@author: Administrator
'''
import redis
pool=redis.ConnectionPool(host='192.168.1.142',port=6379,db=0)
r = redis.StrictRedis(connection_pool=pool)
while True:
    input = raw_input("publish:")
    if input == 'over':
        print '停止发布'
        break;
    r.lpush('tq', input)

这段程序里，raw_input接收用户输入，然后放入到名为tq的队列中等待被取出来

接下来是取任务的程序

# coding=utf-8
'''
Created on 2015-9-11

@author: Administrator
'''
import time
import redis
pool=redis.ConnectionPool(host='192.168.1.142',port=6379,db=0)
r = redis.StrictRedis(connection_pool=pool)
while True:
    task = r.brpop('tq', 0)
    print 'pro1 get task' + task[1];
    time.sleep(10);

# coding=utf-8
'''
Created on 2015-9-11

@author: Administrator
'''
import time
import redis
pool=redis.ConnectionPool(host='192.168.1.142',port=6379,db=0)
r = redis.StrictRedis(connection_pool=pool)
while True:
    task = r.brpop('tq', 0)
    print r.llen('tq')
    print 'pro2 get task' + task[1];
    time.sleep(10);

我这里写了两个基本一样的程序，是为了查看实验的效果，启动这三个脚本，一个用来发布任务，另外两个用来取任务

实验效果截图如下

除了lpush这个函数，还提供了一个lpushx，该函数和lpush的区别在于，如果key不存在，lpush会先自动创建，而lpushx则不会，也就是说，如果这个key不存在，你调用lpushx这个函数是不起作用的。

任务嘛是一个队列，你能从左边push也能从右边push,能从左边pop也能从右边pop，所以，对应的函数有这些，lpush.rpush,lpushx,rpushx,brpop,blpop。