Scrapy框架（一）：初步认识Scrapy

 Scrapy

Scrapy是一个快速功能强大的网络爬虫框架。

 Scrapy的安装

在Windows平台下“以管理员身份运行”cmd

执行 pip install scrapy

 

安装后测试scrapy -h

显示如下画面即成功安装，安装失败自行百度解决。

 Scrapy爬虫框架结构

scrapy不是一个函数功能库，而是一个爬虫框架。

爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。

爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。

• Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。