随笔杂记(十二)——_pickle.UnpicklingError: unpickling stack underflow

深度学习DeBug小笔记(二)——_pickle.UnpicklingError: unpickling stack underflow

前言

没啥说的,今天debug了一天,真是美丽祥和的一天呢…
参考于:linux载入pytorch的预训练模型时遇到_pickle.UnpicklingError: unpickling stack underflow

Bug

当时我由于在训练一个骨干网络为resnet101的语义分割网络,当时想要下载预训练模型resnet101时,遇到了以下报错,这个解决方案也适合与其他下载骨干网络未完成,导致的此问题

Traceback (most recent call last):
...
magic_number = pickle_module.load(f)
_pickle.UnpicklingError: unpickling stack underflow

问题原因

这个问题是由于先前已经缓存了resnet101模型的一部分,但是没有缓存完毕,导致临时文件夹中存在部分不完整的模型,载入失败。解决方法是删除原来临时文件夹中的resnet101模型。

解决方法

liunx

liunx下,resnet101未下载完的预训练模型一般在以下两种位置

/home/user/.cache/torch/checkpoints

或者

/home/user/.torch/models

路径中的user是你的用户名,请按照你的用户名进行更改。

不同系统的具体路径不同,可以两个都尝试一下。直接用ls命令可能无法查看到~/.cache或者~/.torch这类隐藏文件夹,直接cd进入目录即可。

删除下载了一半的模型,并且记得定义新的临时文件夹,再次运行代码,解决问题。

windows

windows下一般位于,这个文件夹名下,bambosir920为你的用户名,请按照你的用户名进行修改

C:\Users\bamboosir920

这里应该是位于这个文件夹下(PS:我当时没记录下来,有些记不清了,2333)

C:\Users\bamboosir920\.ipynb_checkpoints

如果不是的话,在C:\Users\bamboosir920目录下,搜索后缀为.pth的文件即可,可以直接搜索到相应的预训练模型,删除即可

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: "_pickle.unpicklingerror: unpickling stack underflow" 意思是在反序列化过程中,数据堆栈下溢。这通常是由于传输或存储文件损坏导致的。建议检查数据源并确保文件完整。 ### 回答2: _pickle.unpicklingerror: unpickling stack underflow 是Python解释器在尝试反序列化一个对象时遇到的错误之一。对于一个_pickle对象来说,它是一个序列化后的Python对象,它被存储为二进制文件或网络传输中的字节流。当Python解释器需要恢复序列化的对象时,它会反序列化_pickle。 当我们尝试反序列化一个_pickle时,如果_pickle被破坏或不完整,或者_pickle与原始对象不匹配,那么Python解释器就会抛出unpickling stack underflow错误。这种错误发生的原因通常是_pickle对象中的数据量与Python解释器期望的数据量不一致。 如果我们遇到这种类型的错误,我们应该检查_pickle对象的完整性和正确性。需要注意的是,在反序列化_pickle时,最好使用与序列化时相同的Python版本和库。如果_pickle是在Python 3.x中创建的,而你的程序在Python 2.x中运行,或者_pickle中使用的库不兼容当前系统,那么也可能会触发unpickling stack underflow错误。 最好的解决方法是检查_pickle对象中的数据,确保_pickle与原始对象匹配,并使用与编写_pickle代码时相同的Python版本和库进行反序列化。如果无法解决问题,可以考虑重新创建_pickle对象或寻求帮助。 ### 回答3: _pickle.unpicklingerror: unpickling stack underflow 是Python中一个反序列化时可能发生的错误。在Python中,对象可以被序列化成二进制数据,并存储在文件或者网络传输中。反之,反序列化是将这些二进制数据重新转化为对象。 在序列化时,Python将对象的信息压缩成一个字符串,然后存储在文件中。在反序列化时,Python需要根据这个字符串重建对象。如果在反序列化时,Python得到的压缩信息与存储时不一致,或者操作数据发生了异常,则会发生 _pickle.unpicklingerror: unpickling stack underflow 错误。 该错误通常由以下几个原因引起: 1. 数据错误:可能存储的数据无法反序列化成对象。比如解析json数据时,如果其中出现无法解析的字段,就会导致该错误。 2. 版本不兼容:如果代码在升级后导致模块或库版本不兼容,反序列化时就会发生该错误。 3. 安全问题:Python中反序列化时存在安全漏洞,会被黑客利用构造恶意数据进行攻击。 解决这个问题的方法有以下几种: 1. 检查代码和数据:在反序列化之前,应该先检查文件是否存在,是否修改过。同时要根据数据的结构定义和导入相应的依赖。 2. 维护一致性:在升级代码和库时,需要确保存储和读取的数据都是同一个版本。可以使用软件版本控制工具来管理数据和代码的版本。 3. 防范攻击:应该尽可能从安全角度出发,限制反序列化操作,避免受到攻击。 综上所述,_pickle.unpicklingerror: unpickling stack underflow 错误是Python反序列化时可能遇到的错误,可能由数据错误、版本不兼容或者安全问题引起。为了避免这个问题,开发者需要对代码和数据进行严格控制,并且注意安全问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值