Scrapy下载器中间件的应用(代理、ip池、selenium）

什么是下载器中间件?
下载器中间件是引擎和下载器之间通信的中间件我么可以设置代理、更换请求头来达到反反爬虫的目的。要在下载器中实现两个方法:
process_request(self.request,spider) 这个方法是在请求发送之前会执行，process_response(self.request,response.spider)这个方法是数据下载到引擎之前执行的。

def process_request(self, request, spider):
        # Called for each request that goes through the downloader
        # middleware.
        # 每个交给下载器的request对象都会经过该方法，并期望返回response

        # Must either:
        # 如果该方法返回的是None，则继续执行其他下载中间件的process_request方法送往下载器，直到合适的下载器函数被调用，该request被执行，返回response
        # - return None: continue processing this request
        # 如果该方法返回的是response，则终止当前流程，也终止继续调用其他process_request方法，将该response通过引擎返回给爬虫
        # - or return a Response object
        # 如果该方法返回的是request，则终止当前流程，也终止继续调用其他process_request方法，将request返回给调度器，大多数情况是更换新的request请求
        # - or return a Request object
        # 抛出IgnoreRequest异常, 该异常就会交个process_exception方法进行处理; 如果没有任何一个方法处理该异常
        # 那么该请求就直接被忽略了, 也不会记录错误日志.
        # - or raise IgnoreRequest: process_exception() methods of
        #   installed downloader middleware will be called
        return None

    def process_response(self, request, response, spider):
        # Called with the response returned from the downloader.
        # 当下载器完成http请求，返回响应给引擎的时候调用

        # Must either;
        # 如果返回response，则继续执行，其他下载中间件也会处理该response，直至交给引擎再交给爬虫
        # - return a Response object
        #　如果返回request,则中间件终止，该request返回引擎再给调度器
        # - return a Request object
        # 抛出 IgnoreRequest 异常; 该请求就被忽略了且不做记录
        # - or raise IgnoreRequest
        return response

以下操作皆在middlewares.py文件中，要在setting文件中进行启动注意其优先权(数字小优先级高）
DOWNLOADER_MIDDLEWARES = {
‘carhome.middlewares.UseragengtMiddlewar’: 543,
}

• 设置随即请求头 当然要在setting文件中开启这个中间件类
  获取user-agent的地址http://www.useragentstring.com/pages/useragentstring.php

import random
class UseragengtMiddlewar(object):
    USER_AGENTS=[
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/44.0.2403.155 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36'
    ]
    def procss_request(self,request,spider):
        user_agent=random.choice(self.USER_AGENTS)
        request.headers['User-Agent']=user_agent

• 设置ip代理池和独享代理配置同样要setting文件设置开启此中间件

class IPProxyMiddlewar(object):
    PROXIES=['60.13.42.183:9999','117.91.249.180:9999','221.210.120.153:54402','47.105.146.57:8118']
    def procss_request(self, request, spider):
        proxy=random.choice(self.PROXIES)
        request.meta['proxy']=proxy

• 设置selenium对动态页面请求的访问同样要setting文件设置开启此中间件

from selenium import webdriver
from scrapy.http.response.html import HtmlResponse
class SeleniumMiddlewar(object):
    def __init__(self):
        self.driver=webdriver.Chrome()
    def process_request(self,request,spider):
        self.driver.get(request.url)
        """
        之间可以进行其他操作selenium操作比如获取整个下拉列表
        """
        source=self.driver.page_source
        #返回的页面response
        response=HtmlResponse(url=self.driver.current_url,body=source,request=request,encoding='utf8')
        return response