scrapy scrapyd使用速查表

scrapy使用方法

scrapyd使用方法

以后台隐藏方式启动：

nohub scrapyd

使用scrapyd-deploy自动部署：

scrapyd-deploy xxxxx -p xxxxx_scrapy

其中
xxxxx代表爬虫（spider），
xxxxx_scrapy代表项目（project）名称。

使用crontab定期采集：

11 7,9,11,13,15,17 * * * curl http://localhost:6800/schedule.json -d project=xxx_scrapy -d spider=xxx.cn

转载于:https://www.cnblogs.com/lilongsy/p/6640185.html