scrapy.Request中的callback不执行, 排查单个函数也正常,在Request请求参数中添加“dont_filter=True” 即可
import scrapy
class MySpider(scrapy.Spider):
name = 'my_spider'
start_urls = ['http://******.com']
def parse(self, response):
# 处理请求结果
# ...
# 发起下一次请求
yield scrapy.Request(url='http://***url/url1', callback=self.parse_next)
def parse_next(self, response):
# 处理下一次请求的结果
# ...
修改如下:
import scrapy
class MySpider(scrapy.Spider):
name = 'my_spider'
start_urls = ['http://******.com']
def parse(self, response):
# 处理请求结果
# ...
# 发起下一次请求
yield scrapy.Request(url='http://***url/url1', callback=self.parse_next,dont_filter=True)
def parse_next(self, response):
# 处理下一次请求的结果
# ...