scrapy 下一页的URL并未能成功交给parse函数去处理
2019-1-21 #爬虫遇到了问题@My first Blog
请求获取到下一页的URL并未能成功交给parse函数去处理
今天试着写个Amazon爬虫爬取数据,
在成功获取完第一页面信息数据后,在请求翻页获取下一页信息的时候遇到了问题如下:
请求获取到下一页的URL并未能成功yield scrapy.Request()交回给parse函数去处理函数去处理,日志信息如下:
以下为部分代码:
问...
原创
2019-01-21 10:48:19 ·
1204 阅读 ·
1 评论