05-访问超时设置
郑昀 201005 隶属于《01.数据抓取》小节
设置 HTTP 或 Socket 访问超时,来防止爬虫抓取某个页面时间过长。
pycurl 库的调用中,可以设置超时时间:
c.setopt(pycurl.CONNECTTIMEOUT, 60)
在 Python 2.6 版本下,httplib 库由于有如下构造函数:
class HTTPConnection:
def __init__(self, host, port=None, strict=None,
timeout=socket._GLOBAL_DEFAULT_TIMEOUT):
self.timeout = timeout
所以可以设置:
>>> h3 = httplib.HTTPConnection('www.cwi.nl', 80, timeout=10)
参见文档 #2452: timeout is used for all blocking operations :
如果通过 HTTPConnection 或 HTTPSConnection 的构造函数给定超时时间,那么阻塞操作(如试图建立连接)将会超时。如果没有给或者赋值 None ,那么它将使用全局的超时时间设置。
Python 2.5 下,因为 HTTPConnection 类的 __init__ 函数没有 timeout 参数,所以通过一个隐藏很深的函数:
httplib.socket.setdefaulttimeout(3)#输入参数单位貌似是分钟
来设置超时。
设置全局超时
最后,抓取时如果实在找不到什么函数能设置超时时间,那么可以设置全局的 socket 超时,虽然这样做不大合适:
>>> import socket
>>> socket.setdefaulttimeout(90)
setdefaulttimeout() was a hack to allow to set the timeout when nothing else is available.
如何捕获超时异常?
举例:
from urllib2 import urlopen
import socket
slowurl =”http://www.wenxuecity.com/”
socket.setdefaulttimeout(1)
try:
data = urlopen(slowurl)
data.read()
except socket.error:
errno, errstr = sys.exc_info()[:2]
if errno == socket.timeout:
print "There was a timeout"
else:
print "There was some other socket error"
参考资源: