深度学习入门之pytorch——一维线性回归代码更新

最新推荐文章于 2023-10-31 23:54:01 发布

dafazzzz

最新推荐文章于 2023-10-31 23:54:01 发布

阅读量446

点赞数

分类专栏： pytorch 文章标签： pytorch .detach grad.zero_()

本文链接：https://blog.csdn.net/Chenyandafa/article/details/100325185

版权

pytorch 专栏收录该内容

2 篇文章

订阅专栏

这篇博客针对《深度学习入门之PyTorch》书中的一维线性回归代码进行了更新，以适配PyTorch的新版本。主要内容包括：Variable与Tensor的融合、.data与.detach()的区别以及零维张量的处理。文章指出，在新版PyTorch中，不再需要使用Variable，而是直接使用Tensor，并解释了如何安全地从Tensor中提取数据。此外，还强调了在训练循环中正确清零梯度的重要性，以避免'Nonetype'对象错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

入门pytorch书本《深度学习入门之pytorch》，首先学习一维线性回归的实现。书中代码
虽然书中的代码仍在维护，但是pytorch更新了部分函数，本文仅做一些修改，不做一维线性回归的讲解，具体实现可参考代码链接。

Variable 与Tensor
variable与tensor合并，旧版本的variable封装仍可以工作，新的tensor就不需要再用variable封装了，requires_grad为tensor的一个属性，默认为False，语句w = Variable(torch.randn(1), requires_grad=True)，更改为w = torch.randn(1, requires_grad=True)，对b的初始化操作相同。
.data 与.detach()
.data是tensor的一个属性，而.detach()是一个方法，0.4保留了.data，但是更推荐使用.detach()实现从tensor中提取数据转换为numpy,原因是.detach()更安全。两者都与tensor共享内存，且requires_grad=false,但是在调用tensor数据过程中，.detach()对tensor的更改会被检测到并报错，而.data不会报错，使得在后续autograd中出现错误且不易察觉。详细解析
原代码中画图部分的.data改成.detach()
零维张量
loss是零维张量，提取张量的数据由loss.data[0]更改为loss.item()
w.grad.zero_()
原文中先对loss反向传播了一次，然后写了重复多次训练的代码，笔者学习时将第一次loss反向传播省略，直接重复训练，导致报错，‘“Nonetype”object has no attribute ‘zero_’’,原因是系统将w的grad初始化为None,直接写for循环需要先将grad清零再反向传播，因此报错，需要在for 循环前进行一步反向传播，或者增加一步判断，当epoch大于0时再进行梯度清零