python 爬虫实践(分布式部署)

简单介绍

celery分布式框架是我接触的第一个分布式框架，现学现卖，将我上一篇博客介绍的爬虫，通过celery实现分布式部署上篇博客请戳这儿

redis部署到外网

因为我是采用redis做celery的消息中间件，而redis默认是本地访问的，所以为了可以多台电脑上我们需要先配置redis,是redis可以通过web网路访问；

1. 第一步，修改配置文件redis.conf, 如果在windows下就是redis.windows.conf ,找到 bind 127.0.0.1 注释掉，这句话让我们无法在外网上访问redis
2. 第二步，还是这个配置文件，找到 requirepass 去掉注释，requirepass 后的改为你自己要设得密码
3. 最后，进入到redis 安装目录，执行redis-server redis.windows.conf 应用我们设置，重启服务，然后你就可以看到下面的界面了
   
   当让我们的redis服务可以外网通过密码访问之后，我门之前的代码就要稍作修改了
   self.client = StrictRedis(host=‘localhost’,port=6379,db=0)
   改为
   self.client = StrictRedis(host=‘localhost’,port=6379,db=0,password=[你的密码])
   准备工作做完之后，我们就需要开始我们celery分布式了

celery分布式部署

首先呢，新建一个工程目录：
—celeryDemo
—init.py
—celeryConf.py
—config.py
----tasks.py
以此看这三个文件代码，celeryConf.py

#兼容python2
from __future__ import absolute_import 
from celery import Celery
#实例话我们的celery
app=Celery('celeryDemo', include=['celeryDemo.tasks'])
app.config_from_object('celeryDemo.config')

if __name__ == '__main__':
    app.start()

实例化我们celery，