emmm, 最近在家写爬虫,遇到最多同时又绕不开的就是IP封禁。
为了对付IP封禁,我曾经尝试了构建维护自己的IP池,从网上各大网站获取它们提供的免费IP,
可用率简直低得可怕。毕竟免费的大家都可以拿来用,被封了也很正常。Pass
购买代理IP,这个的却是最简便的方法,仅仅需要付钱后调用一个接口就好,
但是各大代理商的代理IP的质量参差不齐,并且速度肯定是不如自家网络的。
因此,当不需要上网只需要运行爬虫的时候重启自家路由,刷新IP是最好的。
手动切换:断线,再重连就好,这样会随机分配一个IP地址的。但是仍有小几率分到原来的IP地址。
用python写程序切换:
其实也就跟和平时爬虫向网页提交请求一个意思,用开发者工具去查看url,然后整理参数提交上去就能切换了。
由于每款路由的接口都不一样,就感觉没必要贴代码了。
PS:1. 切勿在公司用 2. 并且不要在上网的时候运行程序
因为爬虫被封IP的频率很高,所以很大可能十几秒就切换一次IP,这样会导致整个网络瘫痪。