scrapy的工作流程

最新推荐文章于 2023-02-25 22:30:52 发布
最新推荐文章于 2023-02-25 22:30:52 发布
阅读量517 收藏 1
点赞数
分类专栏： scrapy框架学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuhui_2000/article/details/109197343
版权
本文详细介绍了Scrapy爬虫框架的工作流程，包括Scheduler调度器、Downloader下载器、Spiders爬虫、Item Pipeline管道以及中间件的作用。重点阐述了Request对象在各组件间的传递和处理，强调了Scrapy框架能提高程序的容错率并减少代码量，让开发者更专注于数据的提取、处理和保存。
摘要由CSDN通过智能技术生成

回顾前面的爬虫流程

在这里插入图片描述

常规（蓝色窗口）

最开始的时候必须要有url地址，然后发送请求获取响应，提取数据，保存数据

偶尔（红色窗口）

我们需要从响应中提取url地址，然后重新对它发送请求获取响应

  • requests模块：重新对这个url地址发送请求获取响应
  • selenium模块：点击一下某个按钮

另一种形式的爬虫流程

在这里插入图片描述
1.我们现在不再把url地址放在列表中，而是放在队列中
2.发送请求获取响应
3.对响应进行处理

  • 3.1提取数据，将数据放在数据队列中
  • 3.2提取url地址，将url地址放在url队列中

4.数据队列，数据保存

scarpy的工作流程

那么scrapy是如何帮助我们抓取数据的呢？

scarpy的工作流程

最低0.47元/天 解锁文章
yuhui_2000
关注
专栏目录
爬虫之scrapy工作流程
miner_zhu的博客
07-18 9851
Scrapy是什么？ scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量代码，就能够快速的抓取到数据内容。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。 异步与非阻塞的区别：异步：调用在发出之...
scrapy工作流程
weixin_43357051的博客
03-28 357
主要看图理解：先理解流程，在学习就简单 之前的爬虫的工作流程： 下面我们来看看scrapy 的工作流程： 其流程可以描述如下： 调度器把requests–>引擎–>下载中间件—>下载器 下载器发送请求，获取响应---->下载中间件---->引擎—>爬虫中间件—>爬虫 爬虫提取url地址，组装成request对象---->爬虫中间件—>引擎—...
Scrapy工作流程
weixin_42092187的博客
06-23 464
- **引擎( Engine)**  *用来处理整个系统的数据流, 触发事务(框架核心)*- **调度器(Scheduler)**  *用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址*- **下载器(Downloader)**  *用于下载网页内容, 并...
Scrapy 工作流程
weixin_45905671的博客
03-17 577
Scrapy工作流程(重点) 首先Spider(爬虫)将需要发送请求的url经过ScrapyEngins(引擎)交给调试器 Scheduler(调度器) Scheduler(调度器)排序 入列处理后，再经过ScrapyEngins(引擎)到DownloaderMiddleware(下载中间件)(user-agent cookie porxy)交给downloader(下载者)–>向internet发送请求 Downloader向互联网发起请求，并接收响应(response) 将响应在经过Scr
scrapy工作流程描述（python）
CSDN
10-13 6970
scrapy工作流程 engine向spider请求第一个url spider向engine发送 engine让scheduler对request排序 scheduler将排序后的request返给engine engine让downloader下载request downloader下载好将response传给engine engine将response交给spider去处理 spider处理后得到需继续跟进的url，还有..
Scrapy框架及工作流程
Jason's Online
10-16 1273
注：为本人学习笔记，有砖忘轻拍。内容来自慕课网-大壮老师 1.Scrapy框架 Scrapy Engine:负责四大组件之间的通信、信号及数据传递； Scheduler：接收Engine发送过来的Requests请求url入队； Downloader:发送请求并下载数据（负责发送Engine发送的Requests请求，并将获得的Response返还给Engine，再由Engine交还给...
scrapy流程图的相关讲解(需要掌握)
qq_38661599的博客
07-07 1459
一.scrapy架构预览图二.scrapy架构预览图讲解  Scrapy数据流是由执行的核心引擎(engine)控制,流程是这样的:  1、爬虫引擎获得初始请求开始抓取。  2、爬虫引擎开始请求调度程序,并准备对下一一次的请求进行抓取。3、爬虫调度器返回下一个请求给爬虫引擎。  4、引擎请求发送到下载器,通过下载中间件下载网络数据。5、-旦下载器完成页面下载,将下载结果返回给爬虫引擎。6、引擎将下...
Scrapy的简介及工作流程讲解
一花一世界 一叶一菩提
08-13 448
目录 1、简介 2、安装 3、Scrapy架构图 名词解释 4、Scrapy工作流程: 1、简介 Scrapy是一个Python的爬虫框架，它使用Twisted作为异步处理网络请求；它可以将非结构化的数据或者半结构化的数据转化为结构化数据。包含了各种中间件去各司其职的去完成一个任务。 2、安装 pip install scrapy 3、Scrapy架构图 图片来源https://docs.scrapy.org/en/latest/topics/archite...
Scrapy基本操作流程
丁小飞的博客
06-13 1272
一、创建项目 scrapy startproject myfirstpro (myfirstpro为爬虫项目的名称可以中自行命名) 命令行切换到scrapy工程目录 scrapy genspider ‘name’ ‘http://url’ 创建spider文件 文件详解 爬虫配置文件 settings.py BOT_NAME 命名爬虫的名称 执行爬虫的时候使用此名字 ...
scrapy基本流程
李 克 鹏 的 博客
05-02 400
1、创建项目 在目标文件夹里点击文件夹路径、输入CMD并回车、进入命令行 输入命令： scrapy startproject **Spider 2、创建爬虫 cd 进入项目文件 输入命令： scrapy genspider demo "demo.cn" demo为爬虫名称 "demo.cn"为爬取网站的域名，后续可删除 注意爬虫名称不要和项目名称重复 3、项目根目录建立main.py文件 main.py文件输入以下内容 from scrapy.cmdline import .
Scrapy框架的工作流程
过期腊肉
06-25 3357
如果你不了解如何安装Scrapy们可以参考我另一篇文章。 1.创建一个爬虫项目 scrapy startproject myCrawler 2.目录结构 myCrawler 下含有     myCrawler  scrapy.cfg myCrawler 下含有     items.py  pipelines.py   setting.py   _ini
Scrapy工作流程[面试题系列]
weixin_48167124的博客
07-28 581
[面试题]scrapy工作流程
Scrapy----Scrapy架构及工作流程
最新发布
redrose2100的博客
02-25 1024
本文主要介绍了scrapy的架构和工作流程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值