https://blog.csdn.net/jutal_ljt/article/details/54557805
根据最新的scrapy官方文档,scrapy爬虫框架的代理配置有以下两种方法:
一.使用中间件DownloaderMiddleware进行配置
使用Scrapy默认方法scrapy startproject创建项目后项目目录结构如下,spider中的crawler是已经写好的爬虫程序:
settings.py文件其中的DOWNLOADER_MIDDLEWARES用于配置scrapy的中间件.我们可以在这里进行自己爬虫中间键的配置,配置后如下:
DOWNLOADER_MIDDLEWARES = {
'WandoujiaCrawler.middlewares.ProxyMiddleware': 100,
}
- 1
- 2
- 3
其中WandoujiaCrawler是我们的项目名称,后面的数字代表中间件执行的优先级,官方文档中默认proxy中间件的优先级编号是750,我们的中间件优先级要高于默认的proxy中间键.中间件middlewares.py的写法如下(scrapy默认会在这个文件中写好一个中间件的模板,不用管它写在后面即可):
# -*- coding: utf-8 -*-
class Prox