首先,您的代码包含几个错误:
>在getheadersonly的每个请求上,您都安装一个新的全局urlopener,该URL随后将用于urllib2.urlopen
>您进行两个HTTP请求以获取响应的两个不同属性.
> urllib2.HTTPRedirectHandler.http_error_302的实现并不那么琐碎,而且我不明白如何从一开始就防止重定向.
基本上,您应该了解每个处理程序都安装在打开程序中以处理某种响应. urllib2.HTTPRedirectHandler可以将某些HTTP代码转换为重定向.如果您不希望重定向,请不要在重定向器中添加重定向处理程序.如果您不想打开ftp链接,请不要添加FTPHandler等.
这就是您需要创建的新打开程序并在其中添加urllib2.HTTPHandler(),将请求自定义为“ HEAD”请求,并将请求的实例传递给打开程序,读取属性,然后关闭响应.
class HeadRequest(urllib2.Request):
def get_method(self):
return 'HEAD'
def getheadersonly(url, redirections=True):
opener = urllib2.OpenerDirector()
opener.add_handler(urllib2.HTTPHandler())
opener.add_handler(urllib2.HTTPDefaultErrorHandler())
if redirections:
# HTTPErrorProcessor makes HTTPRedirectHandler work
opener.add_handler(urllib2.HTTPErrorProcessor())
opener.add_handler(urllib2.HTTPRedirectHandler())
try:
res = opener.open(HeadRequest(url))
except urllib2.HTTPError, res:
pass
res.close()
return dict(code=res.code, headers=res.info(), finalurl=res.geturl())