爬虫框架
*爬虫框架是实现爬虫功能的一个软件结构和功能组件集合
*爬虫框架是一个半成品,能够帮助用户实现专业网络爬虫
Scrapy爬虫框架结构
"5+2"结构
Spiders(用户提供Url、以及解析内容)、Item pipelines(对提取的信息进行处理)模块需要用户编写(配置)
其他模块:Engine、Scheduler、Downloader模块已有实现,不需要用户进行修改
Engine:控制所有模块之间的数据流、根据条件触发事件,不需要用户修改
Downloader:根据请求下载网页,不需要用户修改
Scheduler:对所有爬取请求进行调度管理、不需要用户进行修改
Downloader Middleware(中间件)
目的:实施Engine、Scheduler和Downloader之间进行用户可配置的控制
功能:修改、丢弃、新增请求或响应
用户可以编写配置代码
Spider:解析Downloader返回的响应(Response)、产生爬取项(scraped item)、产生额外的爬取请求(Request)
Item pipelines:以流水线方式处理Spider产生的爬取项、由一组操作顺序组成,类似流水线,每个操作是一个Item Pipeline类型。
可能的操作包括:清理、检验和查重爬取项中的HTML数据、将数据存储到数据库。
Spider Middleware(中间件)
目的:对请求和爬取项的再处理
功能:修改、丢弃、新增请求或爬取项
用户可以编写配置代码
requests vs.Scrapy
requests
Scrapy
页面级爬虫
网站级爬虫
功能库
框架
并发性考虑不足,性能较差
并发性好,性能较高
重点在于页面下载
重点在于爬虫结构
定制灵活
一般定制灵活,深度定制困难
上手十分简单
入门稍难
两个方法看情况用
非常小的需求,用requests库
不太小的需求,Scrapy框架(持续周期性不间断爬取)
定制程度很高的需求(不考虑规模),自搭框架,requests>Scrapy
相同点
*两者都可以进行页面请求和爬取,python爬虫的两个重要技术路线。
*两者可用性都好,文档丰富,入门简单。
*两者都没有处理js、提交表单、应对验证码等功能(可扩展)。