Scrapy入门-下载文件

目标：爬取并下载https://matplotlib.org/examples/index.html上所有的python文件

• 下载文件需启动FilesPipeline

ITEM_PIPELINES = {'scrapy.pipelines.files.FilesPipeline': 1,}

• 定义下载位置

FILES_STORE = './DownLoadPY'

• LinkExtractor 获取所有链接

开始项目

1. 观察分析页面

• 列表页面各程序位置
  
• 源代码文件页面 源代码文件位置
  

2. 创建项目与爬虫
   
3. 建立Item对象
   file_urls作为下载识别
   
4. 首先获取列表页面所有链接，并callback返回建立循环
   由于创建爬虫时url输入为 matplotlib.org
   但需爬取url 为 https://matplotlib.org/examples/index.html
   所以修改start_urls

start_urls = ['http://matplotlib.org/examples/index.html']

列表页：

5. 获取源代码文件页面
   
6. 输出
   
   
   发现文件存储路径为

[FILES_STORE]/full/[SHA1_HASH_VALUE].py

这种命名方式为防止重名而覆盖文件，可以通过覆写file_path命名规则进行更改

# 覆写其子类
from scrapy.pipelines.files import FilesPipeline
def file_path(self, request, response=None, info=None):
    request_parse_path = urlparse(request.url)
    path = request_parse_path.path
	return basename(dirname(path))
	... ...