解决scrapy不执行Request回调函数callback

最新推荐文章于 2024-06-20 22:12:56 发布

呆萌的代Ma

最新推荐文章于 2024-06-20 22:12:56 发布

阅读量2.3k

点赞数 3

分类专栏：爬虫文章标签： scrapy

本文为CSDN博主"呆萌的代Ma"原创文章，转载请注明博客链接：https://blog.csdn.net/weixin_35757704/

本文链接：https://blog.csdn.net/weixin_35757704/article/details/108939577

版权

爬虫专栏收录该内容

51 篇文章

订阅专栏

本文探讨了爬虫编程中遇到的常见问题，包括函数未完成时如何添加yield，如何修正allowed_domains配置，以及调整dont_filter参数。通过实例讲解，帮助理解并避免爬虫抓取过程中的常见陷阱。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

情况1：未完成函数/测试函数

那个函数没有任何结果返回，可能这就是一个测试函数或是没写完的函数，因此只需要在这个函数结尾加一个yield就可以了，回调另一个空的函数就不会有任何影响：

# -*- coding: gbk -*-
    def parse(self, response):
        # balabala
        yield scrapy.Request(movie_url, callback=self.test_page, dont_filter=False, meta={
                'url': movie_url,
            })

    def test_page(self, response): # 不会执行！！！
        print('lalala')

变为：

def parse(self, response):
        # balabala
        yield scrapy.Request(movie_url, callback=self.test_page, dont_filter=False, meta={
                'url': movie_url,
            })

    def test_page(self, response): # 可以执行....
    	print('lalala')
        yield scrapy.Request(movie_url, callback=self.blank, dont_filter=False)
    
    def blank(self,response):
    	pass