Scrapy的CloseSpider
扩展会在满足条件时自动终止爬虫程序。可以设置CLOSESPIDER_TIMEOUT
(秒)、CLOSESPIDER_ITEMCOUNT
、CLOSESPIDER_PAGECOUNT
、CLOSESPIDER_ERRORCOUNT
分别代表在指定时间过后、在抓取了指定数目的Item
之后、在收到了指定数目的响应之后、在发生了指定数目的错误之后就终止爬虫程序
scrapy 定时关闭
最新推荐文章于 2024-07-01 08:47:12 发布
Scrapy的CloseSpider
扩展会在满足条件时自动终止爬虫程序。可以设置CLOSESPIDER_TIMEOUT
(秒)、CLOSESPIDER_ITEMCOUNT
、CLOSESPIDER_PAGECOUNT
、CLOSESPIDER_ERRORCOUNT
分别代表在指定时间过后、在抓取了指定数目的Item
之后、在收到了指定数目的响应之后、在发生了指定数目的错误之后就终止爬虫程序