scrapy配置爬虫关闭的条件

最新推荐文章于 2024-05-14 07:00:00 发布

辉辉咯

最新推荐文章于 2024-05-14 07:00:00 发布

阅读量5.9k

点赞数

分类专栏： scrapy框架 python爬虫

本文链接：https://blog.csdn.net/qq_41020281/article/details/83315752

版权

在scrapy的默认配置文件中看到这四个配置：

CLOSESPIDER_TIMEOUT = 0
CLOSESPIDER_PAGECOUNT = 0
CLOSESPIDER_ITEMCOUNT = 0
CLOSESPIDER_ERRORCOUNT = 0

这四个配置是配置爬虫自动关闭条件的，等于0代表不开启。

CLOSESPIDER_TIMEOUT

默认值: 0

一个整数值，单位为秒。如果一个spider在指定的秒数后仍在运行，它将以 closespider_timeout 的原因被自动关闭。如果值设置为0（或者没有设置），spiders不会因为超时而关闭。

CLOSESPIDER_ITEMCOUNT

缺省值: 0

一个整数值，指定条目的个数。如果spider爬取条目数超过了指定的数，并且这些条目通过item pipeline传递，spider将会以 closespider_itemcount 的原因被自动关闭。

CLOSESPIDER_PAGECOUNT

缺省值: 0

一个整数值，指定最大的抓取响应(reponses)数。如果spider抓取数超过指定的值，则会以 closespider_pagecount 的原因自动关闭。如果设置为0（或者未设置），spiders不会因为抓取的响应数而关闭。

CLOSESPIDER_ERRORCOUNT

缺省值: 0

一个整数值，指定spider可以接受的最大

关注