scrapy 整合 mitm

1.mitm 是什么
MITMproxy 是一个开源的中间人代理，常用于网络流量的拦截、查看和修改。

2.scrapy 整合 mitm步骤
2.1 安装mitm

PS F:\studyScrapy\itcastScrapy> pip install mitmproxy

2.2 在settings 中配置下载器中间件

# settings.py

DOWNLOADER_MIDDLEWARES = {
    'mySpider.middlewares.ProxyMiddleware': 750,
}

2.3 在middlewares.py 中配置 ProxyMiddleware

# middlewares.py

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://localhost:8080'

2.4 配置系统代理

2.5 运行 mitmproxy （以下两个命令都可）

mitmproxy -p 8080

mitmweb -p 8080

执行效果

2.6 运行爬虫以及效果

scrapy crawl myspidername