pytorch统计矩阵非0的个数_PyTorch常见的12坑

本文列举了PyTorch在实际使用中遇到的12个常见问题,包括cuda()的使用区别、PyTorch 0.4计算累积损失的变化、detach的含义、多GPU处理机制等,并提供了相应的解决方案和注意事项。
摘要由CSDN通过智能技术生成

原标题:PyTorch常见的12坑

1. nn.Module.cuda 和 Tensor.cuda 的作用效果差异

无论是对于模型还是数据,cuda函数都能实现从CPU到GPU的内存迁移,但是他们的作用效果有所不同。

对于nn.Module:

afd2cf9fd19346eb924ca6f72c2a291c.png

上面两句能够达到一样的效果,即对model自身进行的内存迁移。

对于Tensor:

和nn.Module不同,调用tensor.cuda只是返回这个tensor对象在GPU内存上的拷贝,而不会对自身进行改变。因此必须对tensor进行重新赋值,即tensor=tensor.cuda.

例子:

e249452d2ec5a72bf90181a50f65c5ce.png

2. PyTorch 0.4 计算累积损失的不同

以广泛使用的模式total_loss += loss.data[0]为例。Python0.4.0之前,loss是一个封装了(1,)张量的Variable,但Python0.4.0的loss现在是一个零维的标量。对标量进行 索引是没有意义的(似乎会报 invalid index to scalar variable 的错误)。使用loss.item可以从标量中获取Python数字。所以改为࿱

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值