Python3爬虫之Scrapy框架的下载器中间件

最新推荐文章于 2022-02-07 14:07:05 发布
最新推荐文章于 2022-02-07 14:07:05 发布
阅读量934 收藏 2
点赞数
文章标签： Python3 Python3网络爬虫 Scrapy 下载器中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JunSIrhl/article/details/102577470
版权

Python爬虫之Scrapy框架的下载器中间件

基本介绍

下载器中间键可以为我们设置多个代理ip与请求头，达到反反爬虫的目的

下面是scrapy为我们创建好的中间件的类

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z4OnHb5w-1571155786522)(C:\Users\JunSIr\AppData\Roaming\Typora\typora-user-images\1571109201936.png)]

下面是中间件中的下载器函数，我们主要在这个函数里面进行操作

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I4nXlVlG-1571155786523)(C:\Users\JunSIr\AppData\Roaming\Typora\typora-user-images\1571109247040.png)]

Process_request(self,request,spider)

  • 参数

    request:发送请求的request对象

    spider:发送请求的spider对象

  • 此方法若返回None，Scrapy将继续处理此Request，直到 其他下载器中间件被调用

  • 此方法若返回Response对象：不再返回下载器，直接返回给引擎

  • 返回Request对象：使用现在返回的Request

图解

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jyc5xSHI-1571155786524)(C:\Users\JunSIr\AppData\Roaming\Typora\typora-user-images\1571114253852.png)]

Process_response(self,request,response,spider):

  • 参数

request: request对象

response:被处理的response对象

  • 返回值

返回response对象：会将这个对象按序传给其他中间件，最终经过引擎给到爬虫

返回request对象：下载器链接切断，返回的request重新被下载器调度，最终经过引擎给到爬虫

返回request对象：下载器链接切断，返回的request重新被下载器调度

##中间件应用

设置随机请求头

Python系列CSDN博客地址：

如需更系统学习，下面是博主关于Python爬虫的系列学习博客

  1. Python3爬虫入门（快速简易）
  2. Python3爬虫系列之urllib库
  3. Python3爬虫之request库
  4. Python3爬虫之XPath语法和lxml模块
  5. Python3爬虫之数据存储
  6. Python3爬虫之Scrapy框架入门
  7. Python3爬虫入门案例Scrapy爬取传智讲师个人信息
  8. Python3爬虫之Scrapy框架模拟登陆人人网
  9. Python3爬虫之Scrapy框架的下载器中间件
  10. Python3反反爬虫之Scrapy设置随机请求头
JunSIr_#
关注
Python爬虫编程思想（158）：Scrapy中的下载器中间件
一个被知识诅咒的人
08-14 890
Scrapy允许使用中间件干预数据的抓取过程，以及完成其他数据处理工作。其中一类非常重要的中间件就是下载器中间件。下载器中间件可以对数据的下载和处理过程进行拦截。在Scrapy爬虫中，数据下载和处理分下面两步完成。...
python爬虫Scrapy框架笔记分享10-Spider 下载中间件(Middleware)
qichangjian的博客
01-26 445
1. Spider 下载中间件(Middleware) Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架，您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request 2. 激活一个下载DOWNLOADER_MIDDLEWARES 要激活一个下载器中间件组件，将其添加到...
Python爬虫框架Scrapy实例（四）下载中间件设置
weixin_30396699的博客
10-30 182
还是豆瓣top250爬虫的例子，添加下载中间件，主要是设置动态Uesr-Agent和代理IP Scrapy代理IP、Uesr-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制，我们在settings.py同级目录下创建middlewares.py文件，包装所有请求。 middlewares.py # -*- coding: utf-8 -*- impor...
Python 爬虫，scrapy，Downloader Middleware，下载中间件
houyanhua1的专栏
01-19 1214
下载中间件可以在发送请求前对request对象进行处理(添加请求头，代理IP等)；也可以在返回响应前对response、request对象进行处理等。   项目名/middlewares.py（定义下载中间件）： # -*- coding: utf-8 -*- import random # 自定义的下载中间件 class RandomUserAgentMiddleware: #...
scrapy的爬虫中间件和下载中间件
SpringBears的博客
04-21 796
- scrapy的中间件 - 爬虫中间件 - 下载中间件（***）：处于引擎和下载器之间 - 作用：批量拦截所有的请求和响应 - 为什么拦截请求 - 篡改请求的头信息（UA伪装） - 修改请求对应的ip（代理） - 为什么拦截响应 - 篡改响应数据，篡改响应对象 ...
爬虫scrapy框架下载中间件的使用
weixin_46453100的博客
05-10 479
爬虫scrapy 框架下载中间件 使用爬虫scrapy框架的下载中间件 1.下载器中间件 scrapy settings --get=DOWNLOADER_MIDDLEWARES_BASE 查看基础中间件 scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware": 100, 字数越小,优先级越高,也就是越靠近引擎 这就下载中间件里面的参数和作用 “”" 下载中间件 scrapy.downloadermiddlewares.robotstx
Python爬虫Scrapy框架：Scrapy框架-中间件
Python-全栈开发教程-入门到精通
12-18 168
一.中间件中主要有3个函数方法 process_request:处理请求,默认返回值是None process_response:处理响应,默认返回值是response对象 process_exception:处理错误信息,默认返回值是None 二.中间件三个方法的返回值返回的结果 1.process_request 返回None:会走下一个中间件的process_request正常往下走 ...
python爬虫scrapy框架下载中间件DownloaderMiddleware类中的三种方法详解
Collections_sort的博客
03-02 378
DownloaderMiddleware:下载中间件有三个重要方法： process_request()、process_response()、process_exception() 实现其中任意一个方法即可定义一个Downloader （一）process_request（self,request, spider）用法： 1、触发条件：request在被scrapy引擎调度给Downl...
Python爬虫 scrapy框架（三）中间件 爬虫/下载中间件 拦截请求/响应 爬取网易新闻的新闻数据
qq_38232003的博客
12-16 2499
scrapy框架 中间件 爬虫中间件 MiddleproSpiderMiddleware 下载中间件 MiddleproDownloaderMiddleware 爬虫中间件 位于引擎和爬虫之间 class MiddleproSpiderMiddleware: # Not all methods need to be defined. If a method is not defined, # scrapy acts as if the spider middleware does not
python_爬虫 21 Scrapy框架之（七）下载中间件
qq_30346413的博客
06-12 459
1
第六章：Scrapy框架-下载器中间件讲解
weixin_43597208的博客
04-29 285
直接学习：https://edu.csdn.net/course/play/24756/283299 ###下载器中间件讲解： 下载器中间件是引擎和下载器之间通信的中间件。在这个中间件中我们可以设置代理，更换请求头等来达到反爬虫的目的。要写下载器中间件，可以在下载器中实现两个方法。一个是process_request(self,request,spider),这个方法是在请求发出之前会执行。还有一...
Scrapy之下载中间件与爬虫中间件
weixin_30341745的博客
09-01 362
执行流程 　　1.引擎找到要执行的爬虫，并执行爬虫的start_requests方法，并得到一个迭代器　 　　2.迭代器循环时候会获取到Request对象，而request对象中封装了要访问的url和回调函数 　　3.将所有的request对象(任务)放到调度器中，用于以后被下载器下载 　　4.下载器去调度器中获取要下载任务（就是Request对象），下载完成后执行回调函数 　...
Scrapy 下载中间件与爬虫中间件
ZY的博客
11-26 3586
Scrapy 下载、爬虫中间件 在上一篇文章中详细的描述了爬虫框架Scrapy的工作流程,在其中我们会发现包含有两个中间件: 一、下载中间件(DowmloaderMiddleware) 下载中间件处理的过程主要在调度器经engine发送request请求的时候以及网页将response结果返回给spiders的时候,所以-----下载中间件是介于scrapy的request/response处理...
【爬虫】Scrapy 自定义下载器中间件
sinat_40431164的博客
07-27 1296
【原文链接】https://doc.scrapy.org/en/latest/topics/downloader-middleware.html   Writing your own downloader middleware Each middleware component is a Python class that defines one or more of the followi...
爬虫之Scrapy框架的下载
weixin_45659364的博客
03-29 753
文章目录前言一、安装Scrapy1.更新pip安装器2.安装wheel依赖包3.安装lxml4.下载pyOpenSSL并安装5.下载Twisted6.下载安装Pywin327.安装Scrapy8.检查总结 前言 写一个爬虫，需要做很多的事情。比如：发送网络请求、数据解析、数据存储、反反爬虫机制（更换ip代理、设置请求头等）、异步请求等。这些工作如果每次都要自己从零开始写的话，比较浪费时间。因此 Scrapy 把一些基础的东西封装好了，在他上面写爬虫可以变的更加的高效（爬取效率和开发效率）。因此真正在公..
Python爬虫之scrapy中间件
08-11 535
Downloader Middlewares（下载器中间件） 下载器中间件是引擎和下载器之间通信的中间件。在这个中间件中我们可以设置代理、更换请求头等来达到反反爬虫的目的。要写下载器中间件，可以在下载器中实现两个方法。一个是process_request(self, spider)，这个方法是在请求发送之前执行，还有一个是process_response(self, request, respon...
Python 爬虫（一）scrapy框架
qq_30758629的博客
05-22 1097
前几周学习了简单的Python爬虫，准备分两个部分进行总结；第一部分：使用scrapy框架进行简单的爬虫。首先，讲一下啥叫scrapy？百度百科：Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。...
Scrapy框架的下载器中间件讲解&并用下载器中间件设置随机请求头【python爬虫入门进阶】（24）
码农飞哥
02-07 2132
Scrapy框架的下载器中间件讲解&并用下载器中间件设置随机请求头
爬虫四——Python爬虫—简单引擎
肉丸不肉
02-20 423
1、代码 ''' 简单的搜索引擎 1. 起点： url: http://site.baidu.com 2. 起点页面：页面的内容；页面中的超链接 3. 超链接的各个页面：页面的内容；页面中的超链接 4. 算法：深度优先（直接递归）/广度优先（队列） ''' from urllib.request i...
Python爬虫基础与Scrapy框架详解
"该资源是一份关于Python爬虫技术的学习指南，主要介绍Python爬虫的基础知识，包括Scrapy框架的使用、Items的概念、XPath选择器、数据处理管道、中间件等核心组件，以及爬虫实战中的技巧。" Python爬虫是网络数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值