pytorch迁移GPU遇到的BUG整理

最新推荐文章于 2023-03-24 09:58:42 发布
最新推荐文章于 2023-03-24 09:58:42 发布
阅读量1.5k 收藏 1
点赞数 1
文章标签： pytorch 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42164041/article/details/121720435
版权
CPU跑的好好的，迁移到GPU后，BUG一个接着一个Expected object of device type cuda but got device type cpu for argumentExpected object of backend CUDA but got backend CPU for sequence element 0 in sequence argument at position #1 ‘tensors’以上都是输入数据或者变量的问题，仔细检查代码、padding时的变量是
摘要由CSDN通过智能技术生成

CPU跑的好好的，迁移到GPU后，BUG一个接着一个
Expected object of device type cuda but got device type cpu for argument
Expected object of backend CUDA but got backend CPU for sequence element 0 in sequence argument at position #1 ‘tensors’
以上都是输入数据或者变量的问题，仔细检查代码、padding时的变量是否迁移等，查不出可以debug，就是慢…
除了这些 https://www.jb51.net/article/213830.htm
还有模型新建的内部张量（模型迁移了，内部张量就会迁移）
但是我自己改了模型，遇到数据类型不匹配的问题
Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
排查后发现是构建模型时用到字典dict 不会自动迁移到GPU
以前的写法：

self.d_tempconv = {
   }
for window_size in self.window
最低0.47元/天 解锁文章
小菜狗很无敌
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch rnn迁移到多个gpu上遇到的问题
qq_26136211的博客
04-21 194
今天在实验中需要把原本再单个gpu上运行的模型给迁移到多个gpu上的问题。于是使用了pytorch的data parallel。结果其他网络模型都没有问题，只有text encoder出了问题。 原因有两个部分： hidden是用text encoder的自定义方法赋值的，而且原来的hidden size为（a, batch size, b），但dataparallel分发任务默认将第一维当做batch size。于是对其进行了一番修改，具体参考这篇博文https://blog.csdn.net/yuuy
pytorch将变量转移到GPU计算梯度遇到的一个坑爹问题
羊城迷鹿的博客
01-09 2323
我现在也不是很懂问题出在了哪里。。。为什么初始化时就设定device和后期设定to(device)结果相差会如此之大。 x = torch.tensor(1.0, requires_grad=True) y = torch.tensor(2.0, requires_grad=True) z = x**2+y z.backward() print(z, x.grad, y.grad) tens...
Expected object of device type cuda but got device type cpu...
leo0308的博客
03-21 2694
Pytorch RuntimeError: Expected object of device type cuda but got device type cpu for argument #1 ‘self’ in call to _th_index_select 这个报错的原因是：模型的部分参数或数据不在GPU而在CPU上。 遇到这个问题需要仔细排查，　模型是否已经放在在GPU上，　通常使用 model = model.cuda() data = data.cuda() 把模型和数据分别放到GPU上。
nn.Embedding踩坑：RuntimeError: Expected object of device type cuda but got device type cpu
SHY0978的博客
03-24 1126
nn.Embedding踩坑
pytorch中的.detach()和detach_()和.data和.cpu()和.item()的深入详解与区别联系
weixin_45928096的博客
03-16 5590
pytorch中的.detach()和detach_()和.data和.cpu()和.item()的深入详解与区别联系 在x->y->z传播中，如果我们对y进行detach()，梯度还是能正常传播的； 但如果我们对y进行detach_()，就把x->y->z切成两部分：x和y->z，x则无法接受到后面传过来的梯度。 x.data和x.detach()返回和x的相同数据 tensor，这个新的tensor和原来的tensor（即x） .data返回的是一个tensor、而.item()返回的是一个具体的数值。
nvidia jetson pytorch文件
04-03
1. **硬件加速**：由于Jetson平台配备了NVIDIA的GPU，PyTorch可以利用CUDA（Compute Unified Device Architecture）进行GPU加速，极大地提高了深度学习模型的训练和推理速度。 2. **ARM架构支持**：“linux_aarch64...
torchvision-0.12.0源码
09-18
这些预训练模型可以直接用于迁移学习，或者作为基础架构进行微调，以适应特定任务。 **4. 模块实现** 在源码中，每个模型的实现都遵循了PyTorch的模块化设计，通过nn.Module定义网络结构，易于理解和扩展。模型的前...
flax-0.6.5.tar.gz
12-16
6. **兼容性**：Flax与TensorFlow和PyTorch等其他深度学习库有良好的兼容性，可以方便地迁移现有的模型和代码。 在0.6.5版本中，可能包含的更新和改进包括性能提升、新功能添加、API调整以及bug修复。例如，可能对...
onnxruntime-win-x64-1.16.2.zip
11-17
它支持ONNX（Open Neural Network Exchange）格式的模型，这是一种跨框架的标准，允许模型在不同的机器学习工具之间无缝迁移。ONNX模型可以来自各种框架，如TensorFlow、PyTorch、Caffe2等。通过将这些模型转换为...
onnxruntime-1.14.0-cp39-cp39-linux_armv7l.whl.zip
最新发布
06-10
1. **模型推理**：ONNX运行时支持ONNX模型的执行，这意味着你可以将训练好的模型（无论是在TensorFlow、PyTorch或其他框架下训练的）转换为ONNX格式，然后在这个环境中进行推理。 2. **跨平台兼容**：ONNX运行时...
运行时错误：应为设备类型cuda的对象，但在中为参数“mat1”获取了设备类型cpu,RuntimeErrorExpectedobjectofdevicetypecudabutgotdevicetyp
每日提升一点点
08-01 411
https://www.pythonf.cn/read/94009
成功更改成GPU训练后报错，解决记录
L802380230的博客
01-14 1216
​​​​​​PyTorchhttps://pytorch.org/我的版本为CUDA11.3 torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio===0.10.1+cu113 指令： conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch pip3 install torch==1.10.1+cu113 torchvision==0.11.2
解决PyTorch报错：RuntimeError: Expected object of backend CPU but got backend CUDA for argument #2 'other
越野者的博客
01-10 7988
1. 问题描述 在利用PyTorch报错： RuntimeError: Expected object of backend CPU but got backend CUDA for argument #2 'other' 报错时，对应Python语句的写法为： szl = torch.max(sz.round(), torch.Tensor([2])).long() 2. 解决办法 ...
pytorch使用cuda出错RuntimeError: Expected object of backend CUDA but got backend CPU for argument
weixin_42542536的博客
03-10 1888
第一种情况： 数据集忘记转成cuda模式提示RuntimeError: Expected object of backend CUDA but got backend CPU for argument device = torch.cuda('cuda:0') net = MLP() net = net.to(device) data = data.to(device) #而不是直接data.to...
Expected object of backend CPU but got backend CUDA for argument
Talk Is Cheap
08-23 2818
可能因为没加这句： your_model.cuda() your_loss.cuda()
pytorch以及transformers各种问题总结中
xhsun的博客
10-06 5915
RuntimeError: cuda runtime error (38) : no CUDA-capable device is detected at /pytorch/aten/src/THC/THCGeneral.cpp:50 将os.environ[‘CUDA_VISIBLE_DEVICES’]赋值为’0’ os.environ['CUDA_VISIBLE_DEVICES']='0' RuntimeError: Expected object of device type cuda but go
RuntimeError: Expected object of backend CPU but got backend CUDA for argument #4 'mat1'
Well~
12-17 3517
根据错误提示找到问题处在F.linear(input, self.weight, self.bias)这里，参数input是在cuda里面的，进入linear.py，在参数self.weight, self.bias后面的赋值语句后面加上.cuda(0)，即torch.Tensor(…).cuda(0)，问题解决 ...
pytorch跨设备保存和加载模型（变量类型(cpu/gpu)不匹配原因之一）
zsycode的博客
04-17 1827
原官网教程地址 跨设备保存和加载模型 保存在GPU上，在CPU上加载 保存： torch.save(model.state_dict(), PATH) 加载： device = torch.device('cpu') model = TheModelClass(*args, **kwargs) model.load_state_dict(torch.load(PATH, m...
torch的DataLoader 浅析
热门推荐
robator的专栏
12-29 1万+
torch的DataLoader主要是用来装载数据，就是给定已知的数据集，把数据集装载进DataLoaer，然后送入深度学习网络进行训练。先看一下它的声明吧。（官方声明，pytorch 1.10.0文档，参考资料1） DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memor...
pytorch-gpu安装
09-12
要安装pytorch-gpu，您可以按照以下步骤进行操作： 1. 打开Anaconda Prompt。 2. 创建一个新的Python虚拟环境。您可以使用以下命令：conda create -n pytorch_gpu python=3.7 这将创建一个名为"pytorch_gpu"的环境。 3. 等待环境创建完成后，激活pytorch_gpu环境。您可以使用以下命令：conda activate pytorch_gpu 如果前面括号的内容发生改变，表示您已成功进入pytorch_gpu环境。 4. 安装pytorch和torchvision。根据您的CUDA版本选择对应的命令： - 如果您选择的是CUDA 10.2版本，在pytorch_gpu环境中使用以下命令： pip3 install -i https://pypi.tuna.tsinghua.edu.＊＊＊.pytorch.org/whl/torch_stable.html - 如果您选择的是CUDA 10.1版本，在pytorch_gpu环境中使用以下命令： pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple torch==1.6.0 torchvision==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html 请注意，在安装时要删除命令中-c pytorch后面的内容，以从国内源进行下载以提高下载速度。 通过按照上述步骤操作，您将能够成功安装pytorch-gpu。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值