scrapy初识中间件（代理随机更换，ip随机更换，cookie更换）

最新推荐文章于 2023-12-12 12:32:45 发布

tang__Titus

最新推荐文章于 2023-12-12 12:32:45 发布

阅读量1.6k

点赞数 3

分类专栏： scrapy初学

本文链接：https://blog.csdn.net/qq_45727917/article/details/104158803

版权

本文介绍了Scrapy中间件的使用，包括为何拦截请求和响应，以及如何实现随机更换User-Agent、IP和Cookie。在随机更换User-Agent时，通过创建UA池来实现；随机更换IP则通过IP池；对于Cookie的更换，详细阐述了在settings文件、middlewares和spider文件中的三种设置方法。

摘要由CSDN通过智能技术生成

scrapy初识中间件（代理随机更换，ip随机更换，cookie更换）

中间件

中间件

爬虫中间件
——spider与引擎之间
作用：拦截未去重的请求和响应还可以拦截item

下载器中间件
——下载器和引擎之间
作用：批量拦截所有的请求和响应
为什么拦截请求：
———篡改UA伪装，让请求载体具有不同的身份标识
———修改请求对应的ip
为什么拦截响应：
———篡改响应数据，篡改响应对象

随机更换User_Agent

class MiddlewareDownloaderMiddleware(object):
	#构件UA 池
    user_agents_list = [
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
        'Opera/8.0 (Windows NT 5.1; U; en)',
        'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
        'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
        'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
        'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
        'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
        'Mozilla