scrapy爬虫循环抓取同一个url，避免同一URL使爬虫关闭

呆萌的代Ma

于 2022-02-01 00:26:24 发布

阅读量1.5k

点赞数

分类专栏：爬虫文章标签：爬虫

本文为CSDN博主"呆萌的代Ma"原创文章，转载请注明博客链接：https://blog.csdn.net/weixin_35757704/

本文链接：https://blog.csdn.net/weixin_35757704/article/details/122762348

版权

爬虫专栏收录该内容

51 篇文章

订阅专栏

本文介绍了如何使用Scrapy框架循环抓取同一URL。关键在于`yield scrapy.Request()`的设置，需确保`callback`指回当前方法且`dont_filter=True`，以避免URL被过滤，实现递归爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主要方法是：

def param_main(self, response):
    all_item_css = response.css("div.item")
    # 各种操作...
    yield scrapy.Request(response.url, callback=self.param_main, dont_filter=True, meta={})

想要循环抓取同一URL，必须在yield scrapy.Request中，同时满足以下两点：

callback指向自己（类似于递归）
dont_filter=True

这时这个url才能是自己的url