python - crawler 之 scrapy多线程爬虫

目录

1.scrapy教程资料

2scrapy安装配置

3.介绍scrapy框架

---

1.scrapy教程资料

官方文档

• 中文版：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html
• 英文版：https://doc.scrapy.org/en/latest/topics/request-response.html

训练资料

• scrapy学习篇：https://www.cnblogs.com/cnkai/category/1061919.html
• scrapy实战篇：https://www.cnblogs.com/cnkai/category/1062011.html
• Redis + Scrapy 搭建分布式爬虫
• https://blog.csdn.net/tichimi3375/article/details/82353597#t0

 

2scrapy安装配置

• Anaconda集成环境安装scrapy-推荐
• cmd进入控制台，conda install  scrapy
• pip安装scrapy
• pip install scrapy ，该方法安装问题较多

 

3.介绍scrapy框架

Scrapy 使用了Twisted异步网络库来处理网络通讯。整体架构大致如下

基本组件

(1)引擎（Engine）

• 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。

(2)调度器（Scheduler）

• 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。

(3)下载器(Downloader)

• 下载器负责获取页面数据并提供给引擎，而后提供给spider。

(4)爬虫（Spiders）

• Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。

(5)管道（Item Pipeline）

• Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化(例如存取到数据库中)。

(6)下载器中间件（Downloader middlewares）

• 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，如下图，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。

(7)Spider中间件（Spider middlewares）

• Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，如下图，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。