问题描述:
在使用scrapy 爬取QQ邮箱的过程中, 我想把邮件相应的附件同时下载下来。于是我使用了scrapy自带的下载功能FilesPipeline 。
当我使用其爬取邮箱的时候,发现有部分可以爬取而一部分附件反馈为302。于是爬取失败
[scrapy] WARNING: File (code: 302): Error downloading file from
问题解决
def __init__(self, store_uri, download_func=None, settings=None):
if not store_uri:
raise NotConfigured
if isinstance(settings, dict) or settings is None:
settings = Settings(settings)
cls_name =