Scrapy框架从入门到入土

Scrapy 框架简介

再写爬虫的过程中经常需要多个模块的协同，如:发送网络请求、数据解析、数据存储、反反爬虫手段（更换ip代理、设置请求头等）、异步爬取等。如果这些模块每次都要自己从头开始写的话，比较浪费时间。因此Scrapy把前置的代码封装好了，使用它进行爬虫的开发可以变的更加的高效（爬取效率和开发效率）。

真正在公司里，一些上了量的爬虫，都是使用Scrapy框架来解决。

Scrapy框架的各个模块介绍

Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
Scheduler(调度器)：它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理。
Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。
Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方。
Downloader Middlewares（下载中间件）：一个可以自定义扩展下载功能的组件。
Spider Middlewares（Spider中间件）：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。

Scrapy框架的工作流程

1. 首先Spiders将request发送给Enging。
2. Enging接收到request后不做处理，接着传递给Scheduler。
3. Scheduler将Enging发送的request进行有序排序，依次传递给Enging。（类似queue）
4. Enging接收到Scheduler整理过后的request经过MIDDLEWARE层层过滤发送给Downloader。
5. Downloader根据过滤后的request，在INTERNET上进行数据获取，打包response再次经过MIDDLEWARE层层过滤发送给Enging。
6. Enging拿到了经过过滤的response传递给Spider进行response的解析。
7. 解析完成后得到item再传递给Enging
8. Enging获取到items，将items发送给Itempipelings，将requests发送Scheduler。
   注意！只有当调度器中不存在任何request了，整个程序才会停止，（也就是说，对于下载失败的URL，Scrapy也会重新下载。）
   

安装Scrapy

在Anaconda中运行Anaconda Prompt (Anaconda)进入dos命令，输入pip install scrapy等待一会即可安装。
如果在windows系统下，提示这个错误ModuleNotFoundError: No module named 'win32api'，那么使用以下命令可以解决：pip install pypiwin32。

Scrapy开发

框架使用流程

1.选择路径：cd xxx
1.创建项目：scrapy startproject xxx
2.进入项目：cd xxx 与scrapy.cfg同级别目录下
3.基本爬虫：scrapy genspider xxx（爬虫名） xxx.com （爬取域）
4.运行爬虫：scrapy crawl xxx(爬虫名)
或者在2的基础上，新建一个main.py，使用execute的方法进行运行。

from scrapy import cmdline
#导入cmdline模块,可以实现控制终端命令行。
cmdline.execute(['scrapy','crawl','qsbk_spider'])
#用execute（）方法，输入运行scrapy的命令。
#上面这个方法等价于
cmdline.execute('scrapy crawl qsbk_spider'.spilt())

settings设置

1.第22行的ROBOTSTXT_OBEY = True 改为 ROBOTSTXT_OBEY = False。
不遵循ROBOTS协议，给爬虫插上翅膀。
2.第19行的请求头需要重新设定，更改请求头，给爬虫第一层伪装。
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'