提前关闭Scrapy爬虫的设置

最新推荐文章于 2020-07-21 20:15:14 发布

angbini7012

最新推荐文章于 2020-07-21 20:15:14 发布

阅读量223

点赞数

文章标签：爬虫 python

原文链接：http://www.cnblogs.com/FuckSpider/p/11534209.html

版权

Scrapy的CloseSpider扩展会在满足条件时自动终止爬虫程序。可以设置CLOSESPIDER_TIMEOUT（秒）、CLOSESPIDER_ITEMCOUNT、CLOSESPIDER_PAGECOUNT、CLOSESPIDER_ERRORCOUNT分别代表在指定时间过后、在抓取了指定数目的Item之后、在收到了指定数目的响应之后、在发生了指定数目的错误之后就终止爬虫程序。通常情况下可以在命令行中设置：

$ scrapy crawl fast -s CLOSESPIDER_TIMEOUT=10
$ scrapy crawl fast -s CLOSESPIDER_ITEMCOUNT=10
$ scrapy crawl fast -s CLOSESPIDER_PAGECOUNT=10  
$ scrapy crawl fast -s CLOSESPIDER_ERRORCOUNT=10

转载于:https://www.cnblogs.com/FuckSpider/p/11534209.html