Python——下载数据集时报错解决：ContentTooShortError: ＜urlopen error retrieval incomplete: got only XX out of XX

最新推荐文章于 2024-04-16 07:30:00 发布
最新推荐文章于 2024-04-16 07:30:00 发布
阅读量6.3k 收藏 2
点赞数 2
分类专栏： 编程语言 文章标签： python 下载 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Williamcsj/article/details/124470803
版权
当遇到网络不稳定导致Python爬虫下载出错时，可以使用递归异常捕获方法来解决。通过定义一个re_down函数，尝试执行urllib.request.urlretrieve()下载，并在遇到ContentTooShortError异常时重新加载。将原始下载语句替换为调用此函数，能有效应对网络问题。
摘要由CSDN通过智能技术生成

一、原因

网络不稳定，导致下载报错

二、解决办法

递归捕获异常，重新下载

三、实际操作：

在下载报错的urllib.request.urlretrieve(url,filename) 语句所在的代码文件里面输入以下内容：

def re_down(url,filename): 
    try:
        urllib.request.urlretrieve(url
了解本专栏 订阅专栏 解锁全文 超级会员免费看
William.csj
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
订阅专栏
[nltk_data] Error loading punkt: ＜urlopen error [Errno 111] Connection refused＞解决方案
weixin_43178406的博客
08-04 5万+
本文主要介绍了[nltk_data] Error loading punkt: 解决方案，需要特别说明的是本方法不需要下载完整的nltk包，也不需要设置网络，希望能对使用python nltk的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
raise ContentTooShortError(urllib.error.ContentTooShortError: ＜urlopen error retrieval incomplete:
biyesheji1000的专栏
11-19 3611
一、问题描述 爬虫批量下载出现以下错误 raise ContentTooShortError( urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 0 out of 290758 bytes> 二、问题原因 问题原因：urlretrieve下载不完整 三、解决方案 1、解决方案一 在这篇博客中：http://blog.csdn.net/Innovation_Z/arti
使用urllib爬取图片时出现的错误urllib.error.ContentTooShortError
replat-xin
11-16 8790
urllib.error.ContentTooShortError: &lt;urlopen error retrieval incomplete 这是因为urlretrieve下载文件不完整造成的 可以接受这种异常重新写一个方法处理这个问题，可以在去调用这个方法重新去下载，也可以重新用requests下载。 因为重新调用这个方法，有时下载会超时。参考博客https://blog.csdn....
urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 36211 out of 508217
weixin_34279061的博客
05-23 4589
2019独角兽企业重金招聘Python工程师标准>>> ...
【bug记录】urllib.error.ContentTooShortError
marsh_zy的博客
10-16 2034
问题描述：在下载一个数据集时，偶尔会报出以下错误，原因可能是网络异常，导致获取的文件大小和应该的大小不一致 urllib.error.ContentTooShortError: <urlopen error retrieval incomplete: got only 36211 out of 508217 bytes> 解决方法：在代码中编写异常处理代码，例如 try: #your code except urllib.error.ContentTooShortError:
解决：python3多个异常，urllib.error.ContentTooShortError异常、ururllib.error.ContentTooShortError异常，导致图片无法下载
weixin_43732080的博客
04-10 1215
urllib.error.ContentTooShortError异常，导致图片无法下载 处理方式：使用try、except 异常处理 至多3次重新下载图片 重新下载图片失败后，保存图片链接到文件里，以后可以自己手动下载 # 下载漫画到本地(如果漫画图片不在本地) if single_page not in os.listdir(imgdest): try: # url...
Python爬虫——解决urlretrieve下载出现的error.ContentTooShortError和error.URLError问题
04-20 1220
不知道这样写怎么样，参考了这篇文章 https://blog.csdn.net/Innovation_Z/article/details/51106601?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&dist_request_id=&depth_1-utm_source=distribute.pc_relev
使用llama index时出现[nltk_data] Error loading stopwords: ＜urlopen error [Errno 111]的解决方案
最新发布
weixin_43178406的博客
04-16 7万+
本文主要介绍了使用llama index时出现[nltk_data] Error loading stopwords:
pip install flash_attn出现error: ＜urlopen error [Errno 110] Connection timed out＞的解决方案
weixin_43178406的博客
01-27 1万+
本文主要介绍了pip install flash_attn出现error: 的解决方案，希望能对安装flash_attn的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
Python3网络爬虫中的requests高级用法详解
09-19
本节我们再来了解下 Requests 的一些高级用法，如文件上传，代理设置，Cookies 设置等等。感兴趣的朋友跟随小编一起看看吧
解决Python报错：URLError: ＜urlopen error [Errno 11004] getaddrinfo failed＞
FarryNiu的博客
08-09 3万+
原因 获取地址信息失败，通常是由于自动选择的DNS服务器不行 解决方法 更换DNS服务器 控制面板（win+R+control） -> 网络和Internet 2. 打开网络共享中心 3. 打开当前连接的网络，以wifi为例 4. 打开属性 5. 打开Internet协议版本4 6. 选择使用特定DNS服务器地址，并设置为114.114.114.114 8. 设置完成后，错误解决 ......
网络不稳定时python爬虫技巧
da_kao_la的博客
11-20 5932
网络不稳定时，用爬虫下载文件会报ContentTooShortError，类似下面这样： ContentTooShortError: &lt;urlopen error retrieval incomplete: got only 1043679 out of 1050997 bytes&gt; 解决思路很简单，就是捕获异常，重新下载。但是如果重新下载的时候网络还是不稳定又遇到ContentT...
python中的各种错误集结（不断增加中······）
Tasdily的博客
04-22 1042
1.urllib.error.ContentTooShortError:urlretrieve下载文件不完整造成的 可以接受这种异常重新写一个方法处理这个问题，可以在去调用这个方法重新去下载，也可以重新用requests下载。 因为重新调用这个方法，有时下载会超时。参考博客https://blog.csdn.net/jclian91/article/details/7751328...
【NLP】4 gensim word2vec库入门——官方手册embeddings和KeyedVectors
YoungSeng's Blog
02-12 6517
@[TOC](gensim word2vec库官方手册) # 1. Word2vec embeddings Gensim Word2vec embeddings [官方文档](https://radimrehurek.com/gensim/models/word2vec.html) ## 1.1 简介 该模块使用高度优化的C语言例程、数据流和Pythonic接口实现了word2vec系列算法。 word2vec算法包括skip-gram和CBOW模型，使用层次softmax或负采样：[Tomas M
Python使用urllib工具抓取图片
panda_225400的博客
11-03 695
文章目录前言一、urllib是什么？二、使用步骤1.引入库2.解析数据3.出现问题总结 前言 使用urllib.urlretrieve(url,filename)时经常遇到下载到一半时，出现urllib.ContentTooShortError错误。为什么呢 一、urllib是什么？ Urllib是python内置的HTTP请求库 包括以下模块 urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser
python 常见报错的解决整理
自由学者亻伊宸的博客
03-10 2231
python 常见问题的解决整理        整理一下python学习过程中遇到的问题解决办法（持续更新中…）     1、解决_tkinter.TclError: couldn’t recognize data in image file 2、解决pythonTimer报错：Exception in thread Thread-1:Traceback most recent call last 3、python selenium解决ERROR:ssl_client_socket_impl.c
python 图像压缩后前端解压_如何用gdcm和Python解压压缩的DICOM图像？
weixin_39828847的博客
12-09 941
既然您尝试使用python简单地解压缩图像，为什么不简单地使用以下方法：import gdcmimport sysif __name__ == "__main__":file1 = sys.argv[1] # input filenamefile2 = sys.argv[2] # output filenamereader = gdcm.ImageReader()reader.SetFileNam...
python之处理异常
weixin_33798152的博客
05-02 74
# 多分支报错 try: print("hello") # print(x) print("======>") except KeyError as k: raise KeyError() # print(k) except NameError as n: print(n) else: print(...
ERROR: error loading sources list: <urlopen error <urlopen error timed out>
03-29
This error message indicates that there was an issue with retrieving the sources list. The cause of the error could be due to a network issue or a problem with the server that is hosting the sources list. To troubleshoot the issue, you can try the following steps: 1. Check your internet connection to ensure that it is stable and working properly. 2. Try accessing the sources list from a different network or computer to see if the issue persists. 3. Contact the server administrator or the software vendor for assistance in resolving the issue.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值