爬取matplotlib例子源码文件(二）

一、接下来，我们按以下四步完成该项目：

（1）创建Scrapy项目，并使用scrapy genspider命令创建Spider。

（2）在配置文件中启用FilePipeline，并指文件下载目录。

（3）实现ExampleItem（可选）。

（4）实现ExampleSpider。

1、首先创建Scrapy项目，取名为matplotlib_exmaples。在使用scrapy genspider命令创建Spider：

$scrapy startproject matplotlib_examples
$cd matplotlib_examples
$scrapy genspider examples matplotlib.org

2、在配置文件settings.py中启用FilesPipeline，并指定文件下载目录，代码如下：

ITEM_PIPELINES={
    'scrapy.pipelines.files.FilesPipeline':1
    }
FILES_STORE='examples_src'

3、实现ExampleItem，需定义file_urls和files两个字段，在items.py中完成如下代码：

class ExampleItem(scrapy.Item):
    file_urls=scrapy.Field()
    files=scrapy.Field()