本文简要介绍了Scrapy框架，它是一个用于异步爬虫的工具，旨在提高爬取效率。文章重点阐述了Scrapy的异步框架原理，包括同步与异步的概念，以及ScrapyEngine、Spiders、Scheduler、Downloader、DownloaderMiddlewares和ItemPipeline等组件的工作流程。总结中提到，文章提供了一个基础的Scrapy框架介绍，并预告后续会有更多实战内容。
前言
Scrapy框架实现异步爬虫，提高效率
一、Scrapy框架是什么？
Scrapy 的一种异步爬虫工具，该工具是为了解决爬取多个url地址实现异步爬取而创建的。
二、Scrapy异步框架原理
1.同步与异步的概念
2.Scrapy异步框架原理
ScrapyEngine:Scrapy引擎
Spiders:创建的爬虫文件
Scheduler:调度器，接收到spider的request请求，统一分配交给下载器，另外还能去重，整合URL队列，还能去重
Downloader:下载器，接收来自scheduler的request请求，并将返回的response对象给spider
DownloaderMiddlewares:下载器中间件
ItemPipeline：IO持久化操作
最低0.47元/天 解锁文章
979
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
