博主部署SpiderKeeper环境是windows, 相信用Linux的同学部署起来也没有任何问题.
第一步:
mkvirtualenv 创建虚拟环境
Linux虚拟环境配置
Windows虚拟环境配置
第二步:
- workon spiderkeeper (本人创建的虚拟环境spiderkeeper)
- pip install spiderkeeper
- pip install scrapy
- pip install scrapy_redis
- pip install scrapyd
- pip install scrapyd_client
第三步:
先进入虚拟环境,直接在任意目录下命令行输入spiderkeeper即可运行spiderkeeeper
第四步:
使用scrapyd打包你的项目生成.egg文件,以便后面传到spiderkeeper上面
python "C:\Users\admin\workspace\pc\Lib\site-packages\scrapyd-client\scrapyd-deploy" --build-egg news.egg
第五步:
在项目目录下启动scrapyd(注意,必须现在项目目录下的scrapy.cfg中开启url这个选项,默认是注释状态,不生效)
第六步:
在浏览器访问127.0.0.1:5000,创建项目
点击创建项目,项目名称自己随意设置
第七步:
上传刚才生成的egg文件
上传成功
第八步:
点击仪表盘,添加一个任务
spiderkeeper一大优点就是计划任务做的很好,帮助我们减少了一些工作。
这里计划任务根据自己需求设置,设置完点击创建即可
第九步:
设置完成点击运行即可,如果你设置错了,也可以选择移除它。
第十步:
部署完成,回到仪表盘看下自己的爬虫执行状态。
不想运行了也可以点击结束爬虫,需要注意的是,一个爬虫结束后,需要在进行添加一次任务。spiderkeeper封装了scrapyd的log接口,我们可以直接点击log查看爬虫的异常信息。
扩展:
如果想把监控部署在网络上,项目目录下scrapy.cfg中的url需要配置成0.0.0.0,设置完请重启scrapyd。
到这里已经结束啦,喜欢的朋友点个赞吧!