scrapy下载文件

spider.py

1. 导入用于保存文件下载信息的item类.
2. 在爬虫类中解析文件url，并保存在列表中，根据需要提取标题等其它信息
3. 返回赋值后的item类

import scrapy
from ..items import FileItem

class MySpider(Spider):
    
    def parse(self,response):
        file_names = response.xpath('xxxxxxxx')    #list，获取文件名称列表
        fileUrls = response.xpath('xxxxxxxx')  #list，获取文件链接列表
        #fileUrl为相对路径时，可用response.urljoin(url)进行拼接
        item = FileItem(file_names = file_names, file_urls = fileUrls )
        yield item  #注意：此处为yield，不是return

items.py

定义一个item，必须包含file_urls和files两个字段。根据实际情况，可以增加其它字段

• file_urls，list类型，用来存储需下载的url列表。
• files，list类型，用于保存下载结果信息，包括：
  • 本地路径：path
  • 文件的校验和：Checksum
  • 文件和URL地址：URL。

import scrapy

class FileItem(scrapy.Item):
	file_urls = scrapy.Field()
	files = scrapy.Field()
	file_names = scrapy.Field()

settings.py

• 启动pipline

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
	#fileDownloadProject为工程名
	#'fileDownloadProject.pipelines.MyFilePipeline':1,  #使用自定义继承类重命名、改路径时使用，调整优先级为最高(1)
	#'scrapy.pipelines.files.FilesPipeline':1           #自动保存时使用，引入FilesPipeline，优先级设为最高，此时无需编写pipline
}

• 设置存储路径，IMAGES_STORE（变量名不能错）

FILES_STORE = 'xxxxxxxxxxxxx'     #新增变量，并赋值表示路径的字符串，只能指定一个路径

pipelines.py

pipeline可以不编写，通过scrapy.pipelines.files.FilesPipeline对象自动保存文件。
若需进行重命名、更改存储路径等操作，可编写继承类，并重载file_path等类方法，注意先调用父类方法，获得原路径。
下面为重新分配路径时的示例：

from scrapy.pipelines.files import FilesPipeline
import re

class MyFilePipeline(FilesPipeline):
	#file_path参数中没有item对象，需重写get_media_requests获取item(FileItem)中的信息
	def get_media_requests(self,item,info):
        # 该方法调用在文件下载之前。它从item（示例中为FileItem的值）中提取文件url并向服务器发送下载请求。
        file_requests = super(MyFilesPipeline, self).get_media_requests(item, info)
        for i in range(len(file_requests)):
            # 将item中file_names属性的第i个名称传至对应单个文件下载请求，使file_path可以通过request获得所需的item值
            file_requests[i].meta['name'] = item['file_names'][i]
        return file_requests  # 必须再次返回下载请求列表file_requests，否则不下载图片

	def file_path(self,request,response=None, info=None):
        # 调用原方法，获得原路径（full/xxx.xxx)
        originPath = super(MyFilesPipeline, self).file_path(request, response, info)
        title = request.meta['name']  #取出定义好的文件名
        #原方法返回的路径默认为：'full/xxxxx.xxx'，利用正则表达替换路径和文件名
        #本示例将文件直接保存在settings定义的文件夹根目录下，并重命名
        newPath = re.sub('full/.+\.', title + '.', originPath)  #注意加点
        return newPath  #用新定义的路径代替默认路径