在进行Python爬虫开发时，遇到URLError异常可能是由于网络堵塞导致的。通过增加重试机制，可以在一定程度上解决这个问题。博主分享了如何在代码中加入循环尝试，以提高爬虫对网络不稳定情况的容忍度，从而避免URLError异常。当线程数增加时，此方法能有效降低异常出现的频率。
这几天用Python做爬虫的时候，总遇到python URLError: 的异常，就是偶尔会出现，开的线程数越多，出现的频率就越大。 后来证明程序没有问题， 在网上查过资料，这个网络堵塞，多试几次就可以了。
比如原代码是这样：
if headers:
req=urllib2.Request(url,headers=headers)
else :
req=urllib2.Request(url)
opener=urllib2.build_opener(cookieproc)
urllib2.install_opener(opener)
page=urllib2.urlopen(req,timeout=5).read()
改了之后加一个循环即可：
if headers:
req=urllib2.Request(url,headers=headers)
else :
req=urllib2.Request(url)
opener=urllib2.build_opener(cookieproc)
urllib2.install_opener(opener)
global Max_Num
Max_Num=6
for i in range(Max_Num):
try:
page=urllib2.urlopen(req,timeout=5).read()
break
except:
if i < Max_Num-1:
continue
else :
print 'URLError: All times is failed '一般可以解决这个异常
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
