Scrapy 简单爬虫中遇到的问题总结
Scrapy 简单爬虫中遇到的问题总结
在进行item传参时总是出现重复数据
在Scrapy数据爬取中发现通过以下语句传递的参数会出现重复现象,导致爬取的数据出现重复和错乱的现象。
yield scrapy.Request(item['url'], meta={'meta_1': item}, callback=self.detail_parse)
为了解决以上问题,找到【scrapy】item...
原创
2018-10-31 19:41:31 ·
918 阅读 ·
0 评论