之前在学习scrapy时曾碰到这样一个错误,如标题所示。查了一下,网上的答案基本上都是说start_urls应该是个list而不是string。但是我不是这个问题。
我当时是在爬取的页面中,提取出的url被直接加载到了item中,因此在后面的yield request的时候,url=item['url'],然而这是错的。切记切记,item虽然很像dict,但不能直接当dict用。
之前在学习scrapy时曾碰到这样一个错误,如标题所示。查了一下,网上的答案基本上都是说start_urls应该是个list而不是string。但是我不是这个问题。
我当时是在爬取的页面中,提取出的url被直接加载到了item中,因此在后面的yield request的时候,url=item['url'],然而这是错的。切记切记,item虽然很像dict,但不能直接当dict用。