urllib.request.urlretrieve()函数下载文件卡死解决办法

最新推荐文章于 2024-05-23 21:48:21 发布

snailzzw

最新推荐文章于 2024-05-23 21:48:21 发布

阅读量3.8k

点赞数 5

分类专栏： Python信息采集文章标签：爬虫 python 网络

本文链接：https://blog.csdn.net/snailzzw/article/details/109550759

版权

Python信息采集专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一.问题描述

urllib.request.urlretrieve()函数主要用途是下载网络上的文件到本地。

在实际使用过程中，经常会出现卡死的问题，而函数不支持设置超时。下面介绍几种解决办法。

二.解决方法

1.使用requests库代替

#原函数
urlretrieve(url, filename)

#替换
##请求资源
r = requests.get(img_url)

##打开文件并写入
with open(filename,'wb') as f:
    f.write(r.content)

2.使用socket模块

import socket
from urllib.request import urlretrieve

#设置超时时间
socket.setdefaulttimeout(10)
try:
    urlretrieve(url,filename)

#如果超时
except socket.timeout:
    count = 1
    while count <= 5:
        try:
            urlretrieve(url,filename)                                                
            break
        except socket.timeout:
            err_info = 'Reloading for %d time'%count if count == 1 else 'Reloading for %d times'%count
            print(err_info)
            count += 1
    if count > 5:
        print("download job failed!")