Python相关实用技巧04:网络爬虫——Scrapy框架
1 Scrapy爬虫框架介绍
1.1 Scrapy简介与安装
Scrapy是一个快速且功能强大的的网络爬虫框架。
-
Python中实用的第三方库
-
重要的爬虫技术方法
-
Scrapy安装执行:pip install scrapy
-
安装后小测:执行scrapy -h
1.2 scrapy爬虫框架结构
-
爬虫框架:
- 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合。
- 爬虫框架是一个半成品,能够帮助用户实现专业网络爬虫。
-
“5+2”结构(分布式、数据流):Spiders、Item Pipelines、Engine、Scheduler、Downloader。
1.3 爬虫框架解析
-
Engine:
- 控制所有模块之间的数据流
- 根据条件触发事件
- 不需要用户修改
-
Downloader:
- 根据请求下载网页
- 不需要用户修改
-
Scheduler:
- 对所有爬虫请求进行调度管理
- 不需要用户修改
-
Downloader Middleware:
- 目的:实施Engine、Scheduler和Downloader之间进行用户可配置的控制
- 功能:修改、丢弃、新增请求或响应
- 用户可以编写配置代码
-
Spider(框架入口):
- 解析Downloader返回的响应(Response)
- 产生爬取项(scraped item)
- 产生额外的爬取请求(Request)
- 需要用户编写配置代码
-
Item Pipeline(框架出口):
- 以流水线方式处理Spider产生的爬取项
- 由一组操作顺序组成,类似流水线,每个操作是一个Item Pipeline类型
- 可能操作包括:清理、检验和查重爬取项中的HTML数据、将数据存储到数据库
- 需要用户编写配置代码
-
Spider Middleware
- 目的:对请求和爬取项的再处理
- 功能:修改、丢弃、新增请求或爬取项
- 用户可以编写配置代码
2 requests库 和 Scrapy框架爬虫比较
-
相同点:
(1)两者都可以进行页面请求和爬取,Python爬虫的两个重要技术路线
(2)两者可用性都好,文档丰富,入门简单
(3)两者都没有处理js、提交表单、应对验证码等功能(可扩展) -
不同点:
-
选用谁?
- 非常小的需求,requests库
- 不太小的需求,Scrapy框架
- 定制程度很高的需求(不考虑规模),自搭框架,requests > Scrap