Scrapy中添加随机UserAgent

本文直接讲两种方法添加随机UserAgent，具体Scrapy不在阐述

首先如下图的框架，我们需要清楚User-Agent的伪装是在发送请求的Headers中，DOWNLOADER_MIDDLEWARES就是桥梁，发送请求之前的位置可以进行处理request请求，也就是在这里进行userAgent的添加！

需要在middlewares.py中添加以下类和方法，具体结构如代码所示：

1、定义RandomUserAgentMiddleware(object) 注：类名随意需要和settings.py中的一致

2、写一个process_request方法：

不论哪种方法都需要在settings.py中打开 DOWNLOADER_MIDDLEWARES：

方法一：

需要在