爬虫怕的就是超时,而出现最多的就是超时,这种问题如何解决那?
# coding=utf-8
import urllib.request
for i in range(1,100):
try:
file = urllib.request.urlopen("http://yum.iqianyue.com",timeout=1)
data = file.read()
print(len(data))
except Exception as e:
print("出现异常-->"+str(e))
在timeout内不响应则判断为超时(爬取不成功)
自主设置:file=urllib.request.urlopen(“测试网址”,timeout=测试秒数)
功能:某些网站服务器不好的情况下,我们要把timeout设置的大一点,否则爬出失败。