pytorch torch.save 模型时 出现 TypeError: can't pickle _thread.RLock objects 可能造成该问题的原因

最新推荐文章于 2023-03-08 16:08:13 发布
最新推荐文章于 2023-03-08 16:08:13 发布
阅读量3.6k 收藏 3
点赞数 2
文章标签： python 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leisure2222222/article/details/105936221
版权

由于跑深度学习模型次数不多,坑踩的还不够多,因此今天在跑模型时出现了如题错误

其实是我第一次使用logging模块进行训练过程的一些信息进行打印和纪录

经过思考,和对比之前的训练经历,找到不同之处后查明了原因:

在main.py主函数中,我使用logger=logging.getLogger(__name_),对象然后将其传递进行了 继承于 torch.nn.Module类的模型中,故在torch.save时,由于logger是活动对象,无法对其进行pickle处理保存,因此会报错而终止

leisure2222222
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
浅谈pytorch torch.backends.cudnn设置作用
12-20
在PyTorch中，`torch.backends.cudnn`是一组用于控制CuDNN（NVIDIA CUDA Deep Neural Network库）行为的设置。CuDNN是一个针对深度神经网络（DNN）的高度优化库，它提供了大量的GPU加速功能，以提高深度学习模型的...
torch.save 时报错 Can‘t pickle local object ‘_initialize.＜locals＞.patch_forward.＜locals＞.new_fwd‘
我才是一卓的博客
10-08 5864
保存模型 虽然没有明白是什么原因，但是找到了解决方法： 将torch.save(model, path) # 直接保存整个模型方法改为torch.save(model.state_dict(), path) # 保存模型的参数 载入模型 相应的，载入模型时将model = torch.load(path) # 直接加载模型方法改为 model = Model() # 先初始化一个模型 model.load_state_dict(torch.load(path)) # 再加载模型参数 ...
torch.save 时报错Can‘t pickle local object ‘BasicBlock.__init__.＜locals＞.＜lambda＞‘
weixin_45587004的博客
04-02 976
保存模型 虽然没有明白是什么原因，但是找到了解决方法： 将torch.save(model, path) # 直接保存整个模型方法改为torch.save(model.state_dict(), path) # 保存模型的参数 载入模型 相应的，载入模型时将model = torch.load(path) # 直接加载模型方法改为 model = Model() # 先初始化一个模型 model.load_state_dict(torch.load(path)) # 再加载模型参数 ————————————
TypeError: cannot pickle ‘torch._C.Generator‘ object
我的python学习笔记
05-02 3669
[W …\torch\csrc\CudaIPCTypes.cpp:15] Producer process has been terminated before all shared CUDA tensors released. See Note [Sharing CUDA tensors] 注释： pickle： n 泡菜 v 腌制 Producer n. 生产者；制作人，制片人；发生器 terminated v. 终止；结束 tensors n. [数] 张量 release
学习总结：关于pytorch保存save和加载load模型的总结
yuejich的博客
08-02 441
保存权重，推荐使用这种方法，不容易出错 torch.save(model.state_dict(), 'wbdog.pt') print('Finish training') 上面的这个代码用了torch.save()方法，这个只是保存了训练好的权重到wbdog.pt文件 保存模型以及权重 torch.save(model, 'wbdog.pt') print('Finish training') 这样就把模型也保存了， ...
pytorch保存模型出错AttributeError: Can‘t pickle local object ‘_initialize.＜locals＞.patch_forward.＜locals＞.
kewei chen
01-09 628
看了众多资料，我了解到这个问题与装饰器、多进程有关，这个问题主要发生在混合精度训练时，也可以参考一篇关于装饰器的。更换pickle框架。
TypeError: _queue_reduction(): incompatible function arguments.
01-20
使用pytorch的DDP分布式训练的时候遇到错误： TypeError: _queue_reduction(): incompatible function arguments. The following argument types are supported: 1. (process_group: torch.distributed....
PyTorch里面的torch.nn.Parameter()详解
09-18
在PyTorch中，`torch.nn.Parameter()`是一个非常关键的类，它用于创建可学习的参数。这些参数通常是神经网络模型中的权重和偏置，它们在训练过程中会被优化算法更新以最小化损失函数。本文将深入探讨`torch.nn....
彻底解决 TypeError: cannot pickle ‘_thread.RLock‘ object ，以 PyTorch DDP 为例
热门推荐
LutingWang的博客
04-15 2万+
解决问题的思路是，首先找到导致序列化失败的对象，然后将其覆盖为一个正常对象。
学习pickle模块，使用socket传输封装类的例子
12-10
学习pickle模块，使用socket传输封装类的例子，详情可以参考我的博客
torch.save时报错 Can‘t pickle local object ‘_initialize.＜locals＞.ResBasicBlock.__init__.＜locals＞.lambda
SuperB666的博客
05-11 1454
今天在保存模型时遇到了如下所示的问题，查找了很多资料，没有满意的结果。 torch.save时报错 Can‘t pickle local object ‘_initialize.＜locals＞.ResBasicBlock.__init__.＜locals>.lambda 后面发现是pickle有限制，无法解析我模型文件中的lambda表达式 进入模型文件修改无法pickle的位置即可： 如图，我的是 ResBasicBlock.__init__下的lambda表达式，后面换成了函数 .
TypeError: cannot pickle ‘module‘ object
JingYi的专栏
03-08 4517
TypeError: cannot pickle 'module' object
【Python】dill：解决python的“AttributeError: Can‘t pickle local object”及无法pickle lambda函数的问题
qq_43331089的博客
08-08 5096
python的pickle是用来序列化对象很方便的工具，但是pickle对传入对象的要求是不能是内部类，也不能是lambda函数。比如尝试pickle这个内部类：结果会报错这个问题可以用第三方库dill来解决： （）结果：dill除了可以处理pickle可以处理的标准类型外：嗯，还是很好用的。(另外python内建库shelve也是用的pickle做后端，所以默认也是不能处理内部类和lambda函数的。)...
使用tensorrt的一些问题
Elysion_Daniel的博客
08-13 7043
1.碰到如下报错： [TensorRT] ERROR: INVALID_CONFIG: The engine plan file is generated on an incompatible device, expecting compute 7.5 got compute 8.6, please rebuild. [TensorRT] ERROR: engine.cpp (1646) - Serialization Error in deserialize: 0 (Core engine deseri
python中关于TypeError: can't pickle instancemethod objects的错误解决方案
qq_43654142的博客
08-27 1717
python中关于TypeError: can’t pickle instancemethod objects的错误解决方案 在本人关于多进程下运行类方法一文中有遇到上述错误，通过相关搜索了解到，可能是我们在实例化多进程对象的过程中，实例化对象的某些属性没有办法序列化导致。下面通过具体的代码进行实例化对象是否存在不能序列化现象的验证。 首先在类中定义如下的方法： def __getstate_...
使用pickle时遇到TypeError: can't pickle _thread.RLock object
real_ilin的博客
04-01 6126
两次遇到这个问题，但是原因不同： 第一次是调用sklearn的包进行多线程训练时，需要传入一个参数是一个clallabe的函数，我把这个函数与训练的函数放到同一个类里，传入时用的是processor=self.my_processor，后面的my_porcessor是自己封装的方法，processor是要多线程训练的一个参数。 后面解决的方法是把my_processor函数封装到这个类的外面，pr...
pytorch torch.save()方法保存数据被强制杀死进程，报错：killed 端口号 PYTHONUNBUFFERED=1
weixin_39417324的博客
10-02 1243
使用pytorch的来保存变量的时候，被Ubuntu系统强制杀死，其实原因主要就是因为内存不够，这是Ubuntu的一种自我保护机制，为了防止还加载大数据时内存不够而导致系统崩溃，所以采取的一种系统自我保护措施，我大概是保存了20个G的数据，用torch.save保存成pt文件，都加载完了，结果save的时候被杀死。 解决方法： 设置虚拟内存swap。其实目的就是为了在内存条的容量不够的时候，用硬盘上临时画出来的空间来代替内存条。当然，swap肯定是不如内存条读写快的，所以要费劲一些，但是可以解决内存爆掉的问
reward = torch.FloatTensor(reward) TypeError: can't convert np.ndarray of type numpy.objec
最新发布
05-25
这个错误通常发生在尝试将numpy数组转换为PyTorch张量（tensor）时。这是因为numpy数组中可能包含不能转换为张量的对象类型。 要解决这个问题，你需要确保reward数组的数据类型是浮点数类型，例如float32或float64，而不是对象类型。 你可以尝试在将numpy数组转换为张量之前使用astype()方法显式地转换reward数组的数据类型，如下所示： ``` reward = reward.astype(np.float32) # 将reward数组的数据类型转换为float32 reward = torch.tensor(reward) # 将numpy数组转换为PyTorch张量 ``` 如果你仍然遇到问题，请检查reward数组的数据类型以及任何其他相关数组的数据类型，并确保它们都是可以转换为张量的浮点数类型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值