Scrapy 代理IP
一、Scarpy使用代理IP
1.在setting.py 配置 代理服务器IP
2.在middlermares.py 配置 downloadmiddlermare(下载中间件)
Scrapy代理IP、User-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制,我们在setting.py同级目录下middlerwares.py文件中,包装所有请求。
3.在setting.py 配置下载中间件
Scrapy代理IP、User-Agent的切换都是通过DOWNLOADER_MIDDLEWARES进行控制,我们在setting.py同级目录下middlerwares.py文件中,包装所有请求。
转载于:https://www.cnblogs.com/guozepingboke/p/10768001.html