Scrapy原理讲解

最新推荐文章于 2023-10-28 12:04:48 发布

猎剑

最新推荐文章于 2023-10-28 12:04:48 发布

阅读量159

点赞数 1

分类专栏：爬虫

本文链接：https://blog.csdn.net/weixin_42393089/article/details/104030636

版权

爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一.scrapy爬虫流程

在这里插入图片描述

scheduler拿到从spiders里面拿到需要爬取的URL并通过Scrapy Engine将其交给下载中间件处理交给Downloader下载。
Downloader通过下载中间件将数据交给引擎，引擎通过爬虫中间件，将数据交给爬虫。
爬虫提取数据交给引擎，引擎通过Pipeline进行数据的存储。
spider通过提取的url地址构造request对象通过爬虫中间交给引擎交给调度器