Python3爬虫之Scrapy框架的下载器中间件

最新推荐文章于 2023-01-09 18:20:36 发布
最新推荐文章于 2023-01-09 18:20:36 发布
阅读量934 收藏 2
点赞数
文章标签： Python3 Python3网络爬虫 Scrapy 下载器中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JunSIrhl/article/details/102577470
版权

Python爬虫之Scrapy框架的下载器中间件

基本介绍

下载器中间键可以为我们设置多个代理ip与请求头，达到反反爬虫的目的

下面是scrapy为我们创建好的中间件的类

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z4OnHb5w-1571155786522)(C:\Users\JunSIr\AppData\Roaming\Typora\typora-user-images\1571109201936.png)]

下面是中间件中的下载器函数，我们主要在这个函数里面进行操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I4nXlVlG-1571155786523)(C:\Users\JunSIr\AppData\Roaming\Typora\typora-user-images\1571109247040.png)]

Process_request(self,request,spider)

  • 参数

    request:发送请求的request对象

    spider:发送请求的spider对象

  • 此方法若返回None，Scrapy将继续处理此Request，直到 其他下载器中间件被调用

  • 此方法若返回Response对象：不再返回下载器，直接返回给引擎

  • 返回Request对象：使用现在返回的Request

图解

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jyc5xSHI-1571155786524)(C:\Users\JunSIr\AppData\Roaming\Typora\typora-user-images\1571114253852.png)]

Process_response(self,request,response,spider):

  • 参数

request: request对象

response:被处理的response对象

  • 返回值

返回response对象：会将这个对象按序传给其他中间件，最终经过引擎给到爬虫

返回request对象：下载器链接切断，返回的request重新被下载器调度，最终经过引擎给到爬虫

返回request对象：下载器链接切断，返回的request重新被下载器调度

##中间件应用

设置随机请求头

Python系列CSDN博客地址：

如需更系统学习，下面是博主关于Python爬虫的系列学习博客

  1. Python3爬虫入门（快速简易）
  2. Python3爬虫系列之urllib库
  3. Python3爬虫之request库
  4. Python3爬虫之XPath语法和lxml模块
  5. Python3爬虫之数据存储
  6. Python3爬虫之Scrapy框架入门
  7. Python3爬虫入门案例Scrapy爬取传智讲师个人信息
  8. Python3爬虫之Scrapy框架模拟登陆人人网
  9. Python3爬虫之Scrapy框架的下载器中间件
  10. Python3反反爬虫之Scrapy设置随机请求头
JunSIr_#
关注
Python爬虫编程思想（158）：Scrapy中的下载器中间件
一个被知识诅咒的人
08-14 892
Scrapy允许使用中间件干预数据的抓取过程，以及完成其他数据处理工作。其中一类非常重要的中间件就是下载器中间件。下载器中间件可以对数据的下载和处理过程进行拦截。在Scrapy爬虫中，数据下载和处理分下面两步完成。...
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
热门推荐
孤寒者的博客
08-09 61万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python爬虫Scrapy框架笔记分享10-Spider 下载中间件(Middleware)
qichangjian的博客
01-26 446
1. Spider 下载中间件(Middleware) Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request 2. 激活一个下载DOWNLOADER_MIDDLEWARES 要激活一个下载器中间件组件，将其添加到...
Python爬虫框架Scrapy实例（四）下载中间件设置
weixin_30396699的博客
10-30 182
还是豆瓣top250爬虫的例子，添加下载中间件，主要是设置动态Uesr-Agent和代理IP Scrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在settings.py同级目录下创建middlewares.py文件，包装所有请求。 middlewares.py # -*- coding: utf-8 -*- impor...
Python 爬虫，scrapy，Downloader Middleware，下载中间件
houyanhua1的专栏
01-19 1214
下载中间件可以在发送请求前对request对象进行处理(添加请求头，代理IP等)；也可以在返回响应前对response、request对象进行处理等。   项目名/middlewares.py（定义下载中间件）： # -*- coding: utf-8 -*- import random # 自定义的下载中间件 class RandomUserAgentMiddleware: #...
scrapy的爬虫中间件和下载中间件
SpringBears的博客
04-21 798
- scrapy的中间件 - 爬虫中间件 - 下载中间件（***）：处于引擎和下载器之间 - 作用：批量拦截所有的请求和响应 - 为什么拦截请求 - 篡改请求的头信息（UA伪装） - 修改请求对应的ip（代理） - 为什么拦截响应 - 篡改响应数据，篡改响应对象 ...
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
孤寒者的博客
07-05 3万+
Python爬虫之Scrapy框架系列（1）——初识Scrapy框架【安装+简介+运行流程+组件介绍】
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现，旨在帮助学习者掌握这一领域的核心技能。 一、Python爬虫核心技术 Python语言因其简洁明了的语法和丰富的第三方库而成为网络爬虫...
Python 爬虫框架Scrapy
最新发布
Shinersmile的博客
01-09 3775
在scrapy中，会专门定义一个用于记录数据的类，实例化一个对象，利用这个对象来记录数据。每一次，当数据完成记录，它会离开spiders，来到Scrapy Engine（引擎），引擎将它送入Item Pipeline（数据管道）处理。定义这个类的py文件，是items.py。
详解Python的爬虫框架 Scrapy
12-17
6. **Downloader middlewares（下载器中间件）** 下载中间件提供了一种扩展Scrapy功能的方式，它们在请求和响应之间插入自定义逻辑，例如处理HTTP认证、重试失败的请求、修改请求头或者处理cookies。 7. **Spider ...
python爬虫scrapy框架下载中间件DownloaderMiddleware类中的三种方法详解
Collections_sort的博客
03-02 378
DownloaderMiddleware:下载中间件有三个重要方法： process_request()、process_response()、process_exception() 实现其中任意一个方法即可定义一个Downloader （一）process_request（self,request, spider）用法： 1、触发条件：request在被scrapy引擎调度给Downl...
Python爬虫 scrapy框架（三）中间件 爬虫/下载中间件 拦截请求/响应 爬取网易新闻的新闻数据
qq_38232003的博客
12-16 2500
scrapy框架 中间件 爬虫中间件 MiddleproSpiderMiddleware 下载中间件 MiddleproDownloaderMiddleware 爬虫中间件 位于引擎和爬虫之间 class MiddleproSpiderMiddleware: # Not all methods need to be defined. If a method is not defined, # scrapy acts as if the spider middleware does not
python_爬虫 21 Scrapy框架之（七）下载中间件
qq_30346413的博客
06-12 460
1
第六章：Scrapy框架-下载器中间件讲解
weixin_43597208的博客
04-29 286
直接学习：https://edu.csdn.net/course/play/24756/283299 ###下载器中间件讲解： 下载器中间件是引擎和下载器之间通信的中间件。在这个中间件中我们可以设置代理，更换请求头等来达到反爬虫的目的。要写下载器中间件，可以在下载器中实现两个方法。一个是process_request(self,request,spider),这个方法是在请求发出之前会执行。还有一...
Scrapy之下载中间件与爬虫中间件
weixin_30341745的博客
09-01 363
执行流程 　　1.引擎找到要执行的爬虫，并执行爬虫的start_requests方法，并得到一个迭代器　 　　2.迭代器循环时候会获取到Request对象，而request对象中封装了要访问的url和回调函数 　　3.将所有的request对象(任务)放到调度器中，用于以后被下载器下载 　　4.下载器去调度器中获取要下载任务（就是Request对象），下载完成后执行回调函数 　...
Scrapy 下载中间件与爬虫中间件
ZY的博客
11-26 3586
Scrapy 下载、爬虫中间件 在上一篇文章中详细的描述了爬虫框架Scrapy的工作流程,在其中我们会发现包含有两个中间件: 一、下载中间件(DowmloaderMiddleware) 下载中间件处理的过程主要在调度器经engine发送request请求的时候以及网页将response结果返回给spiders的时候,所以-----下载中间件是介于scrapy的request/response处理...
【爬虫】Scrapy 自定义下载器中间件
sinat_40431164的博客
07-27 1296
【原文链接】https://doc.scrapy.org/en/latest/topics/downloader-middleware.html   Writing your own downloader middleware Each middleware component is a Python class that defines one or more of the followi...
爬虫之Scrapy框架的下载
weixin_45659364的博客
03-29 753
文章目录前言一、安装Scrapy1.更新pip安装器2.安装wheel依赖包3.安装lxml4.下载pyOpenSSL并安装5.下载Twisted6.下载安装Pywin327.安装Scrapy8.检查总结 前言 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此 Scrapy 把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公..
Python爬虫之scrapy中间件
08-11 537
Downloader Middlewares（下载器中间件） 下载器中间件是引擎和下载器之间通信的中间件。在这个中间件中我们可以设置代理、更换请求头等来达到反反爬虫的目的。要写下载器中间件，可以在下载器中实现两个方法。一个是process_request(self, spider)，这个方法是在请求发送之前执行，还有一个是process_response(self, request, respon...
Python爬虫基础与Scrapy框架详解
"该资源是一份关于Python爬虫技术的学习指南，主要介绍Python爬虫的基础知识，包括Scrapy框架的使用、Items的概念、XPath选择器、数据处理管道、中间件等核心组件，以及爬虫实战中的技巧。" Python爬虫是网络数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值