构建免费的IP池,质量差得没法看。购买代理,又觉得暂时没必要。所以就构建一个重连路由的工具吧。

emmm, 最近在家写爬虫,遇到最多同时又绕不开的就是IP封禁。

为了对付IP封禁,我曾经尝试了构建维护自己的IP池,从网上各大网站获取它们提供的免费IP,

可用率简直低得可怕。毕竟免费的大家都可以拿来用,被封了也很正常。Pass

购买代理IP,这个的却是最简便的方法,仅仅需要付钱后调用一个接口就好,

但是各大代理商的代理IP的质量参差不齐,并且速度肯定是不如自家网络的。


因此,当不需要上网只需要运行爬虫的时候重启自家路由,刷新IP是最好的。

手动切换:断线,再重连就好,这样会随机分配一个IP地址的。但是仍有小几率分到原来的IP地址。

            

用python写程序切换:

其实也就跟和平时爬虫向网页提交请求一个意思,用开发者工具去查看url,然后整理参数提交上去就能切换了。

由于每款路由的接口都不一样,就感觉没必要贴代码了。

PS:1. 切勿在公司用   2. 并且不要在上网的时候运行程序

        因为爬虫被封IP的频率很高,所以很大可能十几秒就切换一次IP,这样会导致整个网络瘫痪。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值