中华英才网爬虫程序解析（4）-分布式爬虫redis

欢迎来到爬虫高级兼实战教程，打开你的IDE，开始python之旅吧！

redis数据库

redis也是一种数据库，我们用到他的一个数据类型，也就是list列表来进行我们的分布式爬虫，接下来截取部分代码进行解析：

#引入redis库
from redis import Redis

#用来把网址放进列表里的函数
def push_redis_list():

    #连接redis数据库
    r = Redis(host='127.0.0.1', port=6379)

    #遍历每一个网址
    for url in link_list:
    
        #将网址放进名为information的列表里
        r.lpush('imformation',url)
        re_url=re.search(r'http://campus.chinahr.com/qz/P(.*?)/?job_type=10&',url)
        re_url=re_url.group(1)
        print('append : '+re_url)
    return

#连接redis数据库
r = Redis(host='127.0.0.1', port=6379)

#取出网址
url = r.lpop('imformation')

#ascii方式解码网址
url = url.decode('ascii')

redis数据库使用lpush来向列表中加入元素，使用lpop从列表中取出元素，分布式爬虫也就意味着用一个程序来向列表中加入网址，令几个程序来取出网址并访问，这样我们就使用redis来连接了这几个程序。

加入网址的程序称为master：

this_machine = 'master'
print('start redis spider')
if this_machine == 'master':
    push_redis_list()
else:
    get_url()

取出网址并访问的程序称为slave：

this_machine = 'slave'
print('start redis spider')
if this_machine == 'master':
    push_redis_list()
else:
    get_url()

接下来你就可以想创建几个slave就创建几个slave啦，效率绝对高！

中华英才网程序解析到此结束！

最后附上源码地址：https://github.com/code-nick-python/yingcaiwang-spider

祝你玩得愉快，学得愉快！