scrapy爬虫笔记
记录在做项目时遇到的爬虫问题!
安和桥要加油
努力学习中!
展开
-
python scrapy 爬虫 遇到问题raise ValueError('Missing scheme in request url: %s' % self._url)
在做python scrapy爬虫爬艺搜网站的项目时,遇到了以下问题。 File "E:\课程学习文件\大三下册\信息检索\2019.4.45.TW04\yisou1\yisou1\spiders\spider.py", line 61, in new_parse yield scrapy.Request(url, meta={'item2': item2}, callback=sel...原创 2019-05-06 20:56:29 · 2744 阅读 · 0 评论 -
python scrapy 遇到问题 Spider must return Request, BaseItem, dict or None
出现原因:在没有定义pipelines时,同时处理两个item出现的问题 yield item1, item2 解决办法:分别写两个yield即可。 yield item1 yield item2原创 2019-05-06 22:13:59 · 5305 阅读 · 0 评论