Python学习笔记（二）urllib.urlopen()超时问题 : 504Gateway Time-out-CSDN博客

本文介绍了在使用Python的urllib库爬取网络数据时遇到的超时问题及其解决方案。主要通过为urlopen方法设置timeout参数来避免程序因读取延迟而卡死，并给出了具体的实现代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

urllib.urlopen()超时问题 : 504Gateway Time-out

问题描述：

没有设置timeout参数，结果在网络环境不好的情况下，时常出现read()方法没有任何反应的问题，程序卡死在read()方法里，搞了大半天，才找到问题，给urlopen加上timeout就ok了.
设置了timeout之后超时之后read超时的时候会抛出socket.timeout异常，想要程序稳定，还需要给urlopen加上异常处理，再加上出现异常重试，程序就完美了。
解决方案：

有时候我们在爬取网络数据时，会因为对方网速缓慢、服务器超时等原因，导致 urllib2.urlopen() 之后的 read()操作（下载内容）卡死，要解决这个问题方法有如下几个：

方法一、为urlopen设置可选参数 timeout （例子来源博主自己的程序）
import urllib
def get_Json(url):
    try:
        url = url
        header = {"User-Agent": "Mozilla5.0 (Windows NT 6.1; WOW64; rv:59.0) Gecko/20100101 Firefox/59.0"}
        request = urllib.request.Request(url, headers=header)
        response = urllib.request.urlopen(request, timeout=1)      #timeout设置超时的时间,防止出现访问超时问题
        # 取出json文件里的内容，返回的格式是字符串
        html = response.read()
        # 把json形式的字符串转换成python形式的Unicode字符串,unicodestr为数组
        unicodestr = json.loads(html.decode("gbk","ignore"))
        #进行第二步：把所有字段信息传入get_Info(),来提取所需字段值，并存入MongoDB中
        get_Info(unicodestr)
    except Exception as e:      #抛出超时异常
        print('a', str(e))

方法二、设置全局的socket超时：
import socket
socket.setdefaulttimeout(10.0)
或者使用：httplib2 or timeout_urllib2
http://code.google.com/p/httplib2/wiki/Examples
http://code.google.com/p/timeout-urllib2/source/browse/trunk/timeout_urllib2.py

方法三、使用定时器 timer：
from urllib2 import urlopen
from threading import Timer
url = "http://www.python.org"
def handler(fh):
        fh.close()
fh = urlopen(url)
t = Timer(20.0, handler,[fh])
t.start()
data = fh.read()    #如果二进制文件需要换成二进制的读取方式

t.cancel()

方法一实测有效，部分资料来源：https://blog.csdn.net/waterforest_pang/article/details/16885259，特此感谢。