爬虫——Python爬虫遇到ip被封或Max retries exceeded问题

(1)IP被封
解决方法:User Agent+IP代理
具体方法:
User Agent减少IP被封次数,原理是模仿人的点击访问。
具体做法:加上headers={'user-agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.133 Safari/569.36'}
这里使用的是模仿谷歌浏览器的,其他浏览器可以参见这篇文章Python3网络爬虫(四):使用User Agent和代理IP隐藏身份,其实没有什么区别,都只是个模仿过程。
然后在requests.get(url)这里,加上header的属性,变成requests.get(url,headers = headers)
IP代理解决IP被封情况,原理是减少机器识别出某个ip在短时间内经常访问某个网页
具体做法:找到免费或者收费的代理商,使用它们的接口获得ip地址,然后放在proxies = {}中,在requests.get(url,headers = headers)这里加上proxies属性,变成requests.get(url,headers = headers,proxies=proxies)
注意事项:
网上免费的ip代理中的ip基本都不可用,100多个里面顶多2个可以用,极其浪费时间。
一些收费的ip代理也出现ip不可用的情况,可以在购买之前先试用,看看效果如何再购买。
如果爬的是国外的网站,也有一些服务商提供国外ip代理,但是如果需要先使用VPN再使用IP代理的话,则ip代理没有用。
(2)Max retries exceeded(443)问题
解决方法:sleep+retries或session或IP代理
具体方法:
session减少打开的http连接的数量,在requests.get(url, headers=headers)前,添加如下代码

s = requests.session()
s.keep_alive = False

sleep+retries增加连接上的可能,

time.sleep(5)
requests.DEFAULT_RETRIES = 5

ip代理,换个ip,继续爬

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值