Python爬虫(入门+进阶)学习笔记 2-5 Scrapy的中间件

本文介绍了Scrapy下载中间件的概念、重要性及其在处理请求和响应时的角色。重点讲解了下载中间件的三个核心函数:process_request、process_response和process_exception。还通过UAMiddleware实例展示了如何在请求中加入随机User-Agent,以应对网站的反爬策略。同时提到了系统默认的RetryMiddleware和CookiesMiddleware,以及如何设置和管理cookies。文章最后鼓励读者深入学习和实践更多下载中间件的使用,以提升爬虫的抗反爬能力。
摘要由CSDN通过智能技术生成

上一节我们学习怎么去保存爬取的结果,然而大多数时候裸奔的请求很容易被网站反爬技术识别,导致并不能获取到我们想要的数据,我们该怎么做呢?中间件就可以帮你解决这些事

下载中间件(Downloader middlewares)


Scrapy框架中的中间件主要分两类:蜘蛛中间件下载中间件。其中最重要的是下载中间件,反爬策略都是部署在下载中间件中的

蜘蛛中间件是介入到Scrapy的spider处理机制的钩子框架,可以添加代码来处理发送给 Spiders 的response及spider产生的item和request。

  1. 当蜘蛛传递请求和items给引擎的过程中,蜘蛛中间件可以对其进行处理(过滤出 URL 长度比 URLLENGTH_LIMIT 的 request。)
  2. 当引擎传递响应给蜘蛛的过程中,蜘蛛中间件可以对响应进行过滤(例如过滤出所有失败(错误)的 HTTP response)


下载中间件是处于引擎(Engine)和下载器(Downloader)之间的一层组件,可以有多个下载中间件被加载运行。

  1. 当引擎传递请求给下载器的过程中,下载中间件可以对请求进行处理 (例如增加http header信息,增加proxy信息等);
  2. 在下载器完成http请求,传递响应给引擎的过程中, 下载中间件可以对响应进行处理(例如进行gzip的解压等) 
下载中间件三大函数

1. process_request(request, spider)——主要函数

当每个request通过下载中间件时,该方法被调用

需要传入的参数为:

  • request (Request 对象) – 处理的request
  • spider (Spider 对象) – 该request对应的spider

process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象raise IgnoreRequest

  • 如果其返回 None: 
    Scrapy将继续处理该request,执行其他的中间件的相应方法,直到合适的下载器处理函数(download handler)被调用, 该request被执行(其response被下载)
  • 如果其返回Response 对象: 
    Scrapy将不会调用任何其他的process_request()或 process_exception()方法,或相应的下载函数。其将返回该response,已安装的中间件的 process_response() 方法则会在每个response返回时被调用
  • 如果其返回 Request对象 : 
    Scrapy则会停止调用 process_request方法并重新调度返回的request,也就是把request重新返回,进入调度器重新入队列
  • 如果其返回raise IgnoreRequest异常 : 
    则安装的下载中间件的 process_exception()方法 会被调用。如果没有任何一个方法处理该异常, 则request的errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常, 则该异常被忽略且不记录(不同于其他异常那样)



2. process_response(request, response, spider)——主要函数

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值