scrapy爬虫下载文件、重命名文件

scrapy下载文件并重命名文件，python下载文件并重命名文件

目标：下载网页 http://www.zimuku.cn/search?q=&t=onlyst&p=1 上的字幕文件

设计：涉及scrapy的文件下载中间件

扩展：下载图片也是同样的原理

代码：如下

(1)爬虫模块

# coding:utf-8

import sys
import urllib
import os
reload(sys)
sys.setdefaultencoding( "utf-8" )

import scrapy
from w3lib.html import remove_tags
from subtitle_crawler.items import SubCrawlerItem

class SubSpider(scrapy.Spider):
    name = "sub"
    allowed_domains = []
    start_urls = [
            "http://www.zimuku.cn/search?q=&t=onlyst&p=%s" %i for i in range(1,21)
    ]