一、前言
Scrapy是一个很成熟的框架,此框架是为了爬取网站数据,提取结构性数据而编写的应用框架。 Scrapy通常应用在包括数据挖掘,信息处理或存储历史数据等一系列的项目中。像一些流媒体公司通常会用爬虫来收集电影数据(上座率、票价、好评率)、新闻点击率数据等。这些业务爬取的数据一般是公开的,当爬取的量存到一定数量级时,则可以进行市场分析、打包售卖信息等进行盈利。
Scrapy框架最初是为了页面抓取 (更确切来说, 网络抓取)而设计的, 也可以应用在获取API所返回的数据(例如Amazon Associates Web Services) 或者通用的网络爬虫。它用途广泛,可以用于数据挖掘、监测和自动化测试。
二、框架解析
1.Scrapy 使用了 Twisted 异步网络库来处理网络通讯。整体架构大致如下:
2.Scrapy运行流程大概如下:
- 首先,引擎从调度器中取出一个链接(URL)用于接下来的抓取
- 引擎把URL封装成一个请求(Request)传给下载器,下载器把资源下载下来,并封装成应答包(Response)。
- 然后,爬虫解析Response。
- 若解析出实体(Item),则交给实体管道进行进一步的处理。
- 若解析出的是链接(URL),则把URL交给Scheduler等待抓取
3.Scrapy主要包括了以下组件:
- 爬虫引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务(框架核心)。
- URL调度器(Scheduler): 用来接收引擎发过来的请求, 存入队列中, 并在引擎再次请求的时候返回。可以想像成一个URL(爬取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是哪一个, 同时过滤掉重复的网址。
- 网页下载器(Downloader): 用于下载网页内容, 并将网页内容返回给爬虫(Scrapy下载器是建立在twisted这个高效的异步模型上的)。
- 爬虫(Spiders): 爬虫是主要干活的, 用于从特定的网页中提取、解析自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。
- 项目管道(Pipeline): 负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。
- 下载器中间件(Downloader Middlewares): 位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。
- 爬虫中间件(Spider Middlewares): 介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出,通常用来处理请求头封装、代理ip封装。
- 调度中间件(Scheduler Middewares): 介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
三、精品Python学习书籍
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、Python练习题
检查学习结果。
七、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
这份完整版的Python全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
Python资料、技术、课程、解答、咨询也可以直接点击下面名片,
添加官方客服斯琪
↓