《Python网络爬虫从入门到实践 第2版》第7章 Scrapy框架

第7章　Scrapy框架

前面几章介绍了使用requests加BeatifulSoup工具来获取网页、解析网页、存储数据，上手比较简单，但是每个功能的代码都要自己实现。本章介绍的Scrapy是一个爬虫框架，它将上述的很多功能都封装进框架里。使用较少的代码就能完成爬虫的工作。

本章首先介绍Scrapy和Requests的对比，然后介绍如何安装Scrapy，如何使用Scrapy进行抓取，Scrapy的注意事项，最后通过Scrapy爬虫实践来实现真正上手。

目录

第7章　Scrapy框架

7.1　Scrapy是什么

7.1.1　Scrapy架构

7.1.2　Scrapy数据流（Data Flow）

7.1.3　选择Scrapy还是Requests+bs4

7.2　安装Scrapy

7.3　通过Scrapy抓取博客

7.3.1　创建一个Scrapy项目

7.3.2　获取博客网页并保存

7.3.3　提取博客标题和链接数据

7.3.4　存储博客标题和链接数据

7.3.5　获取文章内容

7.3.6　Scrapy的设置文件

7.4　Scrapy爬虫实践：财经新闻数据

7.4.1　网站分析

7.4.2　项目实践

7.4.3　自我实践题

7.1　Scrapy是什么

Scrapy是一个为了爬取网站数据，提取数据而编写的应用框架。简单来说，它把爬虫的三步：获取网页，解析网页，存储数据都整合成了这个爬虫框架。这样，通过Scrapy实现一个爬虫变得简单了很多。

7.1.1　Scrapy架构

下面的图7-1展示了Scrapy的架构，包括了各个组件，以及数据流的情况（箭头所示）。