Scrapy使用Downloader Middleware设置代理访问网站

一、首先上网找到一个好用能用的代理

二、找到以后设置代理：

win10打开控制面板里的internet选项里的局域网设置，

在这里设置勾选，设置好代理后，点击确定。代理设置完毕。

三、代码实现

middlewares.py

class ProxyMiddleware(object):
    logger=logging.getLogger(__name__)
    #返回none不会有影响，返回response和request的话具体看官方文档
    def process_request(self,request,spider):
        self.logger.debug('Using Proxy')
        request.meta['proxy']='http://122.137.173.19:8080'
        return None

取消注释，设置使用middlewares。 

好了，命令行输入访问吧，scrapy crawl httpbin

看orign，122.137.173.19，百度一下看看这是哪里的代理