yield关键字的语句是没有的错误的,起初我以为是response.follow和scrapy.request运用的情况不一样,就在扣这两个语句的字眼,以及函数名的错误,改了许久也没改成功
yield response.follow(new_page_url, callback=self.start_parse_1)
后来看了这个帖子
Scrapy爬虫执行中yield请求未被抛出(或抛出未执行)解决方法(亲测有效)
yield response.follow(new_page_url, callback=self.start_parse_1)
Scrapy爬虫执行中yield请求未被抛出(或抛出未执行)解决方法(亲测有效)