430. 【爬虫】单独给浏览器设置代理

我们一般在通过代理采集数据时,会在电脑端设置全局代理,如下所示:
设置代理前
这个方法会导致所有流量都经过 8080 代理端口。现在我想用 mitmproxy采集一个网站的数据,是不希望所有流量都走 mitmproxy 的。这里推荐一个谷歌浏览器的插件来解决这个问题(下载地址在文末)。

一、新建场景


这里的意思是:该场景中,流量都经过代理服务器:127.0.0.1,代理端口:8080

二、配置情景模式:auto switch


这里的意思是:域名匹配时,才使用第一步配置的“本地mitmproxy代理”

三、实际使用

点击扩展插件,点击 Proxy SwitchyOmega 插件

四、选择场景模式

这里点击 auto switch(第二步,配置的)

五、愉快的使用代理采集数据了

OK

谷歌浏览器插件地址:https://chrome.google.com/webstore/detail/proxy-switchyomega/padekgcemlokbadohgkifijomclgjgif

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值