最近想布置一下自己的分布式服务器,
redis是个不错的选择,用起来非常简单,上一篇文章刚写了怎么布置的过程
家里的电脑是windows的 下载一个redis desktop manager先
百度下载即可
连接的时候记得auth里填上密码
pip install redis
python已经装好了redis
作者使用的是python3.6
连接redis
r = redis.Redis(host='服务器ip',port=6379,db=0,password='设置的密码')
因为想做一个爬虫url分配
想做的是一个 生产者消费者模式
所以我们先从redis的消息队列做起
我们先尝试一下lpush列表:lpush 默认把元素插入到列表头部,支持多个值
for i in range(20)
r.lpush('uurl',i)
假设i是一条url,
这样一条命令就把我需要爬的一条连接push到了redis里
看一下
那我们的分布式服务器怎么把它拿出来呢
使用brpop OR blpop
有什么区别呢
brpop移除并获取列表里 最后一个元素
相反:
blpop移除并获取列表里 第一个元素
我们选择brpop,这样可以获取到我们最早放进去的元素
相当于是会计里的 先进先出 原则(会计专业 伤不起)
r.brpop('uurl',0)
返回结果
这里要说明一下pop里的第二个参数0
这是一个timeout参数,超过这个时间没有数据就会返回一个none
设置为0的话就是默认阻塞 一有数据就会返回
有空学一学kafka的消息队列