Scrapyd部署爬虫项目
GitHub:https://github.com/scrapy/scrapyd
API 文档:http://scrapyd.readthedocs.io/en/stable/api.html
1、新建虚拟环境(方便管理),并在虚拟环境中安装scrapy项目需要使用到的包。
创建:
python3 -m venv scrapySpider
查找:which python
激活:
source scrapySpider/bin/activate
(如果想删除,命令为: rm -rf venv
)
2、安装scrapyd模块,scrapyd模块是专门用于部署scrapy项目的,可以部署和管理scrapy项目。
pip install scrapyd
3、输入scrapyd启动scrapyd服务、浏览器输入127.0.0.1:6800 即可查看。