关于使用torch.load()出现invalid argument错误的解决办法

最新推荐文章于 2024-08-09 14:43:16 发布
最新推荐文章于 2024-08-09 14:43:16 发布
阅读量2k 收藏 3
点赞数 5
分类专栏： NLP issue 文章标签： NLP Pytorch Python 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/se77en2/article/details/103382468
版权

在使用pytorch和torchtext做NLP相关工作时，发现使用

vectors = torchtext.vocab.Vectors(name='D:/data/glove.840B.300d.txt',cache='cache/')

来构建向量表时，glove.6B.200d可以顺利完成，且第二次运行也可以顺利读取cache，但是使用glove.840B.300第一次能够顺利运行，第二次读取cache会出现invalid argument错误。查询pytorch的issue发现，在windows上，pytorch会在读取2个G以上的模型文件（.pt）时报这个错误。解决办法如下：
在torch.serialization这个python文件下的如下代码块：

    offset = f
最低0.47元/天 解锁文章
se77en2
关注
专栏目录
2.python/pytorch编程debug
驽马十驾，功在不舍；锲而不舍，金石可镂。
05-10 1万+
快速解决python中的bug，这里总有你需要的。
Pycharm报错:load() got an unexpected keyword argument ‘loader‘
weixin_45681959的博客
07-19 2675
Pycharm报错load()got an unexpected keyword argument'loader'
PyTorch 源码解读之 torch.serialization & torch.hub
zandaoguang的博客
10-28 4197
作者 | 123456来源 | OpenMMLab编辑 | 极市平台导读本文解读基于PyTorch 1.7版本，对torch.serialization、torch.save和tor...
Python，torch.hub.load，模型加载失败问题
最新发布
qq_61523551的博客
08-09 429
C:\Users\你的用户名\.cache\torch\hub\ultralytics_yolov5_master，如果能在线下载的话，可以考虑从这里复制出来，我是在线下载后，将hub，复制到了项目同路径，所以可以用相对路径调用。因为众所周知的网络，该模型无法被在线下载，所以下载文件后，改为本地加载就可以正常运行了。问题描述：跑一个torch项目，代码中执行到加载模型时特别慢，然后报出了网络超时。经过查看发现，torch.hub.load是通过网上在线下载模型后加载，
torch.load()报错：OSError: [Errno 22] Invalid argument
weixin_41377325的博客
11-18 1267
torch.load(path)存储命令 出现OSError: [Errno 22] Invalid argument错误后发现过于庞大的文件读取会报错，下图为同一数据集按照2：8划分。 利用torch.load()后发现小的数据集可以顺利读取，大的不行。 解决方法： 提前将大的数据集划分后分别读取。。。 ...
在torch.load的时候报错 result = unpickler.load() ModuleNotFoundError: No module named ‘xxx‘ 个人错误解决记录
weixin_42455006的博客
03-02 3081
torch.load(“xxx.pt”)的时候出现这种错误一般是模型加载异常当时搜了好半天网上给的解决方法。
Tcl中的load命令
jason的专栏
07-13 2055
tcl中的load命令还是很神奇的。在这里翻译一下tcl的load文档，学习一下。 名字 load - 加载机器代码，初始化新的命令 概要 load filename load filename packagename load filename packagename interp 描述 这个命令把一个文件中的二进制代码加载到应用的地址空间，然后调用package中的初始化程序把这些代码集成到解释器中。filename是包含二进制代码的文件名。它具体的形式在不同的系统上面会有所不同，但是在
调用model = torch.load(‘*.pth’)时报错：OSError: [Errno 22] Invalid argument
郡酱的博客~
07-16 2664
一、问题描述 在使用torch.load()出现：line 581, in _load deserialized_objects[key]._set_from_file(f, offset, f_should_read_directly) OSError: [Errno 22] Invalid argument 错误详情信息及截图如下： Traceback (most recent call last): File "D:/Rio/test_nature/test_model.py", line
ubuntu18.04和cuda10.0下安装Torch7(非pytorch)
luosnongning的博客
05-27 1808
我的电脑配置： ubuntu18.04+CUDA10.0 + cudnn7.4.1.5 安装Torch7并运行论文8《Deep depth completion of a single RGB-D image》的代码行时遇到的问题和解决办法。
错误使用 load 无法读取文件 'D"\mymodel.mat': Invalid argument。
05-27
这个错误可能是由于文件路径中的反斜杠被误用导致的。在文件路径中，应该使用正斜杠（/）或双反斜杠（\\）来分隔文件夹和文件名。请检查你的文件路径是否正确，并使用正确的分隔符来表示文件路径。同时，你还可以...
pytorch dataloader 取batch_size时候出现bug的解决方式
12-20
然而，在使用`DataLoader`时，可能会遇到一些与`batch_size`相关的错误，尤其是在处理图像数据时。这两个错误是： 1. `RuntimeError: invalid argument 0: Sizes of tensors must match except in dimension 0. Got...
Pytorch load深度模型时报错：RuntimeError: cuda runtime error (10) : invalid device ordinal
yinhui_zhang的博客
01-21 1万+
问题背景和描述： 　　我是在服务器上用显卡２上训练我的模型，但是模型还在继续跑，所以我只能在其他显卡上重新做测试实验看效果的好坏。在pytorch上重新load训练好的深度学习模型时报错：RuntimeError: cuda runtime error (10) : invalid device ordinal at torch/csrc/cuda/Module.cpp:32。 THCuda...
OSError: [Errno 22] Invalid argument:'./ckpt\\R3Net\\2019-03-20 16:08:01.452000.txt'.
xiaolian555的博客
03-20 919
log_path = os.path.join(ckpt_path, exp_name, str(datetime.datetime.now()) + ‘.txt’) def main(): net = R3Net().cpu().train() optimizer = optim.SGD([ {'params': [param for name, param in net.named_...
pytorch踩坑记
qq_43994782的博客
08-11 2420
1、关于cpu cuda Input type (torch.FloatTensor) and weight type (torch.cuda.FloatTensor) should be the same 英语4级425分的我一看就懂了，数据和模型没在一个地儿呗， 模型在cuda上，但是数据在cpu上，所以要移动一下 data.to(torch.device('cuda')) 然后。。。。 Input type (torch.FloatTensor) and weight type (torch.cud
RuntimeError: storage has wrong size: expected -1158842851 got 512
qq_35037684的博客
10-28 3804
报错： File "C:/LivingBodyDepthAndIr/live_ir_test.py", line 156, in main network.load_state_dict(torch.load(initial_checkpoint, map_location=lambda storage, loc: storage)) File "D:\anaconda\lib\site-packages\torch\serialization.py", line 386, in load
【PyTorch】基础学习：一文详细介绍 torch.save() 的用法和应用
m0_59235508的博客
04-15 3898
作为PyTorch中用于保存模型或张量的重要函数，在实际项目中发挥着至关重要的作用。通过掌握其基本用法和高级功能，我们可以更加高效地进行模型的保存、加载和共享操作，为深度学习项目的开发提供有力支持。展望未来，随着深度学习技术的不断发展和应用领域的拓展，对模型保存和加载的需求也将更加多样化和复杂化。相信在PyTorch等开源框架的持续努力下，我们将拥有更加完善和强大的模型序列化工具，为深度学习领域的发展注入新的动力。希望本文能够为大家在PyTorch的学习和使用中提供一些帮助和启示。
Pytorch中的torch.save()文件保存格式探索以及mmdetection加载预训练模型参数对不齐和收到意外参数报错解决方案
m0_72806612的博客
05-27 524
先说原因：预训练模型在coco上预训练，而coco本身类别是80，所以它的主干网络送到其他的三个头（分类头、mask回归头、bbox头的参数种类对不上），我这个是个1个类别，加上背景。然后把继承的配置文件的训练策略改成一样的然后就可以了，有大佬对训练了解的深一些的可以在评论区讲解一下这个框架中的学习率sheduler策略有什么差别：在1x、2x、3x直接，我还在配置文件中看到一个20e.解决方案：把load_from中的权重下载下来，resize然后重新保存，即可。这里保存的是各个层的参数。
torch.load()加载模型时报错
热门推荐
weixin_43820848的博客
09-10 1万+
torch.load()加载模型时出现如下错误 Traceback (most recent call last): File "demo_syncnet.py", line 26, in <module> s.loadParameters(opt.initial_model); File "/media/cj/75bb371d-0b6d-4995-bb72-060a4...
torch.load和torch.load可以连接吗
12-11
根据提供的引用内容，torch.save()和torch.load()分别用于保存和加载PyTorch模型。它们是独立的命令，不能直接连接在一起使用。torch.save()用于将模型保存到文件中，而torch.load()用于从文件中加载模型。如果要在不同的程序中使用已保存的模型，则需要在新程序中使用torch.load()加载该模型。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值