爬取matplotlib例子源码文件(一）

一、项目需求：下载http：//matplotlib.org网站中所有例子的源码文件到本地。

二、页面分析：首先在例子列表页面http://matplotlib.org/examples/index.html中获取所有例子页面的链接，使用scrapy shell命令下载页面，然后调用view函数在浏览器中查看该页面，如下所示：

然后显示出浏览器页面如下：

用右键审查第一个例子元素，简单的发现页面链接，如下图：

接下来，使用LinkExtractor提取所有例子页面的链接，代码如下：

第一次的字符匹配失误，第二次那个是成功的！

例子列表页面分析完毕，总共找到506个例子。

接下来分析例子页面。调用fetch函数下载第一个例子页面，并调用view函数在浏览器中查看页面：

浏览器页面：

在一个例子页面中，例子源码文件的下载地址可在如上图中的标签中找到，则用如下方式提取信息：

到此，页面分析的工作完成了！