Pytorch Autograd (自动求导机制)

最新推荐文章于 2022-10-10 21:43:10 发布
最新推荐文章于 2022-10-10 21:43:10 发布
阅读量1.7k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50071460/article/details/108024534
版权

Introduce
Pytorch Autograd库 (自动求导机制) 是训练神经网络时，反向误差传播(BP)算法的核心。

本文通过logistic回归模型来介绍Pytorch的自动求导机制。首先，本文介绍了tensor与求导相关的属性。其次，通过logistic回归模型来帮助理解BP算法中的前向传播以及反向传播中的导数计算。

以下均为初学者笔记。

Tensor Attributes Related to Derivation
note: 以下用x代表创建的tensor张量。

x.requires_grad：True or False，用来指明该张量在反向传播过程中是否需要求导。
with torch.no_grad():：当我们在做模型评估的时候是不需要求导的，可以嵌套一层with torch.no_grad()以减少可能的计算和内存开销。
x.grad：返回损失函数对该张量求偏导的值，在调用backward()之后才有。
x.grad_fn：存储计算图上某中间节点进行的操作，如加减乘除等，用于指导反向传播时loss对该节点的求偏导计算。
x.is_leaf：True or False，用于判断某个张量在计算图中是否是叶子张量。叶子张量我个人认为可以理解为目标函数中非中间因变量（中间函数、一般是运算得到的张量），如神经网络中的权值参数w就是叶子张量（一般是手动创建的张量）。
x.detach()：返回tensor的数据以及requires_grad属性，且返回的tensor与原始tensor共享存储空间，即一个改变会导致另外一个改变。因此，如果我们在backward之前对x.detach()返回的张量进行改变会导致原始x的改变，从而导致求导错误，但是这时系统会报错提醒。
（note：虽然x.data也与x.detach()作用相似，但是x.data不被Autograd系统追踪，因此如果遇到上述问题并不会报错。推荐使用x.detach()）
x.item()：如果张量只包含一个元素，即标量（0维张量，scalar），可以用x.item()返回，通常loss只包含一个数值，因此常用loss.item()。
x.tolist()：如果张量只包含多个元素，可以用x.tolist()转换成python list返回。
Build Logistic regression Model
假设有一个损失函数如下（Logistic回归）：

z=w1x1+w2x2+b
yp=sigmoid(z)
Loss(yp,yt)=−1n∑i=1n(ytlog(yp)+(1−yt)log(1−yp))
摘自吴恩达机器学习

由损失函数构建简单计算图模型如下：

现在我们通过上述例子来理解前向传播和反向传播。在上述简单的神经网络模型中，我们需要对权值参数w1，w2以及阈值参数b进行更新。神经网络训练的总体过程如下：先由输入层逐级前向传播计算loss输出，再有输出层loss反向计算各层梯度传播误差，以此更新各层的权值参数w和阈值参数b。

在该模型中我们需要求出loss对w1、w2以及b的偏导，以此利用SGD更新各参数。对于根据链式法则的逐级求导过程不再赘述，吴恩达机器学习SGD部分有详细的计算过程以及解释。

现在我们利用pytorch实现logistic回归模型，并手动实现参数更新。

import torch
import numpy as np

可能网络上有许多资料在Tensor外再额外封装一层Variable，然而从Pytorch0.4版本以后，Variable已经合并进Tensor了，因此以后的代码可以直接用Tensor,不必要再封装一层Variable。

读入数据 x_t,y_t

x_t = torch.tensor(np.array([[1,1],[1,0],[0,1],[0,0]]),requires_grad=False,dtype=torch.float)
y_t = torch.tensor([[0],[1],[0],[1]],requires_grad=False,dtype=torch.float)
print(x_t.size())

定义权值参数w和阈值参数b

w = torch.randn([2,1], requires_grad=True,dtype=torch.float)
b = torch.zeros(1, requires_grad=True,dtype=torch.float)
print(w.size())

构建逻辑回归模型

def logistic_model(x_t):
a = torch.matmul(x_t,w) + b
return torch.sigmoid(a)

y_p = logistic_model(x_t)

计算误差

def get_loss(y_p, y_t):
return -torch.mean(y_t * torch.log(y_p)+(1-y_t) * torch.log(1-y_p))

loss = get_loss(y_p, y_t)
print(loss)

自动求导

loss.backward()

note：如果loss为一个标量（一般都是），那么loss.backward()不需要指定任何参数。然而如果有多个损失，即loss为一个向量tensor([loss1, loss2,loss3])，则需要指定一个gradient参数，它是与loss形状匹配的张量，如tensor([1.0,1.0,0.1]),里面数字我个人理解为代表各损失的权重。

查看 w 和 b 的梯度

print(w.grad)
print(b.grad)

更新一次参数

w.data = w.data - 1e-2 * w.grad.data
b.data = b.data - 1e-2 * b.grad.data

‘’’
note:
存在两个问题：

  1. 如果没有前面先更新一次参数，后面直接进行迭代更新的话，会报错，具体原因也没搞懂。
  2. 利用pycharm运行pytorch代码，调用了backward()之后，程序运行完成进程并不会终止，需要手动到任务管理器中kill进程，具体原因也不清楚。
    ‘’’

epoch

for e in range(10000): # 进行 10000 次更新
y_p = logistic_model(x_t)
loss = get_loss(y_p, y_t)

w.grad.zero_()  # 归零梯度
b.grad.zero_()  # 归零梯度
loss.backward()

w.data = w.data - 1e-2 * w.grad.data  # 更新 w
b.data = b.data - 1e-2 * b.grad.data  # 更新 b
print('epoch: {}, loss: {}'.format(e, loss.data.item()))

print(w)
print(b)

‘’’
每500次迭代打印出输出结果，我们看到损失函数在迭代中逐步下降：
epoch: 0, loss: 0.9426676034927368
epoch: 500, loss: 0.5936437249183655
epoch: 1000, loss: 0.4318988025188446
epoch: 1500, loss: 0.33194077014923096
epoch: 2000, loss: 0.265964150428772
epoch: 2500, loss: 0.22003984451293945
epoch: 3000, loss: 0.18663322925567627
epoch: 3500, loss: 0.1614413857460022
epoch: 4000, loss: 0.14187511801719666
epoch: 4500, loss: 0.12630191445350647
epoch: 5000, loss: 0.11365044862031937
epoch: 5500, loss: 0.10319262742996216
epoch: 6000, loss: 0.09441888332366943
epoch: 6500, loss: 0.08696318417787552
epoch: 7000, loss: 0.08055643737316132
epoch: 7500, loss: 0.07499672472476959
epoch: 8000, loss: 0.07013023644685745
epoch: 8500, loss: 0.06583743542432785
epoch: 9000, loss: 0.06202460825443268
epoch: 9500, loss: 0.05861698091030121
至此，手动实现梯度下降，logistic模型搭建完成，之后将尝试利用pytorch框架搭建神经网络。
http://www.iciba.com/word?w=%E6%99%8B%E6%B1%9F%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89zprzr
http://www.iciba.com/word?w=%E5%8D%97%E5%AE%89%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89hrrhh
http://www.iciba.com/word?w=%E9%BE%99%E6%B5%B7%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89rhpzh
http://www.iciba.com/word?w=%E9%82%B5%E6%AD%A6%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89fxfff
http://www.iciba.com/word?w=%E6%AD%A6%E5%A4%B7%E5%B1%B1%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89fnxxn
http://www.iciba.com/word?w=%E5%BB%BA%E7%93%AF%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89vvxfn
http://www.iciba.com/word?w=%E5%BB%BA%E9%98%B3%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89hphpp
http://www.iciba.com/word?w=%E6%BC%B3%E5%B9%B3%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89prhph
http://www.iciba.com/word?w=%E7%A6%8F%E5%AE%89%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89xhprf
http://www.iciba.com/word?w=%E7%A6%8F%E9%BC%8E%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89vlpdl
http://www.iciba.com/word?w=%E5%B9%BF%E5%B7%9E%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89bnxhn
http://www.iciba.com/word?w=%E6%B7%B1%E5%9C%B3%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89dfjft
http://www.iciba.com/word?w=%E6%B1%95%E5%A4%B4%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89bvxbt
http://www.iciba.com/word?w=%E6%83%A0%E5%B7%9E%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89trvpj
http://www.iciba.com/word?w=%E7%8F%A0%E6%B5%B7%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89tlrtf
http://www.iciba.com/word?w=%E6%8F%AD%E9%98%B3%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89hlxlx
http://www.iciba.com/word?w=%E4%BD%9B%E5%B1%B1%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89fbvhx
http://www.iciba.com/word?w=%E6%B2%B3%E6%BA%90%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89ztdrr
http://www.iciba.com/word?w=%E9%98%B3%E6%B1%9F%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89ztljb
http://www.iciba.com/word?w=%E8%8C%82%E5%90%8D%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89zdzft
http://www.iciba.com/word?w=%E6%B9%9B%E6%B1%9F%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89hnlbp
http://www.iciba.com/word?w=%E6%A2%85%E5%B7%9E%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A2%E2%91%A3%E2%91%A0%E2%91%A2%E2%91%A5%E2%91%A2%E2%91%A2%E2%91%A2%EF%BC%89txzbh
http://www.iciba.com/word?w=%E8%82%87%E5%BA%86%E4%B8%AD%E4%B8%93%E6%AF%95%E4%B8%9A%E8%AF%81%E6%A0%B7%E6%9C%AC%EF%BC%88%2BV%EF%BC%9A%E2%91%A0%E2%91%A0%E2%91%A

最低0.47元/天 解锁文章
m0_50071460
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
pytorch 核心 autograd 自动求导
W25679的博客
04-28 189
Autograd：自动求导 PyTorch中，所有神经网络的核心是autograd包。先简单介绍一下这个包，然后训练我们的第一个的神经网络。 autograd包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run）的框架，这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的. 让我们用一些简单的例子来看看吧。 张量 torch.Tensor是这个包的核心类。如果设置它的属性.requires_grad为True，那么它将会追踪对于该张...
每天五分钟深度学习框架pytorch：自动求导机制
最新发布
huanfeng_AI的博客
08-19 221
深度学习框架pytorch拥有自动求导的机制，自动求导是 PyTorch 中非常重要的特性，能够让我们避免手动去计算非常复杂的导数，这能够极大地减少了我们构建模型的时间。本文学习的是第10步反向传播，学习路线参考前面一篇文章。
python pytorch fft_用于CUDA FFT的PyTorch包装器pytorch-fft - pytorch中文网
weixin_39684495的博客
12-21 438
由Eric Wong提供的PyTorch C扩展程序包，用于执行批量的2D CuFFT转换安装这个包在PyPi上。使用pip install pytorch-fft即可安装用法从pytorch_fft.fft模块中，您可以使用以下函数执行前向和后向FFT转换(复杂到复杂)fft和ifft一维变换fft2和ifft2 2D转换fft3和ifft3 3D转换从同一个模块中，还可以使用以下方法实现复杂/...
Autograd: 自动求导
didi7081的博客
09-11 164
Pytorch中神经网络包中最核心的是autograd包，我们先来简单地学习它，然后训练我们第一个神经网络。 autograd包为所有在tensor上的运算提供了自动求导的支持，这是一个逐步运行的框架，也就意味着后向传播过程是按照你的代码定义的，并且单个循环可以不同 我们通过一些简单例子来了解 Tensor torch.tensor是这个包的基础类，如果你设置.requires_...
autograd自动求导机制
baidu_15434583的博客
04-27 3481
本文是对http://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html的部分翻译以及自己理解的部分，如有错误，欢迎指正。对于pytorch中的所有神经网络（nn）而言最重要的是autograd包。对tensor的所有运算autograd包提供了自动求导机制。它遵循了按定义运行的框架，即你的代码如何运行定义了你的反向传播。下面是具...
AI 框架基础技术之自动求导机制 (Autograd)
AI蜗牛车
02-17 384
作者丨OpenMMLab来源丨https://zhuanlan.zhihu.com/p/347385418编辑丨GiantPandaCV0 前言可以把神经网络看作一个复合数学函数，网络结构...
Pytorch学习笔记_2_Autograd自动求导机制
Tiiktak‘s
02-14 207
Autograd 自动求导机制 PyTorch 中所有神经网络的核心是 autograd 包。 autograd 包为张量上的所有操作提供了自动求导。它是一个在运行时定义的框架，可以通过代码的运行来决定反向传播的过程，并且每次迭代可以是不同的。 通过一些示例来了解 Tensor 张量 torch.tensor是这个包的核心类。 设置.requires_grad为True，会追踪所有对于该张量的操...
关于PyTorch 自动求导机制详解
09-18
PyTorch中的自动求导机制主要通过torch.autograd包来实现，它能够自动计算和存储计算图，并且能够通过反向传播自动计算梯度。下面将对PyTorch自动求导机制进行详细解析。 1. 变量的requires_grad和volatile属性 在...
【torch小知识点01】自动求导机制：autograd
羊老羊
10-10 1507
pytorch torch 的自动求导机制：autograd
pytorch如何计算导数_PyTorch的自动求导机制详细解析，PyTorch的核心魔法
weixin_39562197的博客
12-22 173
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注极市平台公众号，回复加群，立刻申请入群~作者：Vaibhav Kumar编译：ronghuaiyang这篇文章详细解析了PyTorch的自动求导机制，让你了解PyTorch的核心魔法...
Tensorflow 2.0 张量对张量的求导机制与数学上正常求导结果不同的原因详解以及WGAN的惩罚项的loss
01-20
耗时完成，解锁后可见！ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ +++++++++++ 参考：https://blog.csdn.net/zhangdamengcsdn/article/details/80200059 上述链接中详述了矩阵对矩阵求导的结果
autograd——Python自动求导库
星云
05-10 2874
Note: Autograd is still being maintained but is no longer actively developed. The main developers (Dougal Maclaurin, David Duvenaud, Matt Johnson, and Jamie Townsend) are now working on JAX, with Dougal and Matt working on it full-time. JAX combines a new.
[Pytorch系列-22]：Pytorch基础 - Autograd库、 Autograd.Function与反向自动求导机制
文火冰糖（王文兵）的博客
09-19 1298
第1章Autograd库简介 1.1Autograd库的简介与作用 Pytorch Autograd库 (自动求导机制) 是训练神经网络时，反向误差传播(BP)算法的核心。因此有必要对该库有一个系统性、更深入性的认识。 Pytorch Autograd能对所有任意数据图中的标识为需要求导的张量进行求导运算，以帮助程序员轻松实现反向的自动求导以及实现反向误差传播(BP)算法。可以这样说，正是因为反向误差传播(BP)算法的出现与工程化才导致深度学习大行其道。 1.2Autograd库在Pyto...
python中几种自动微分库
weixin_30622181的博客
08-29 649
简单介绍下python的几个自动求导工具，tangent、autograd、sympy； 　　在各种机器学习、深度学习框架中都包含了自动微分，微分主要有这么四种：手动微分法、数值微分法、符号微分法、自动微分法，这里分别简单走马观花（hello world式）的介绍下下面几种微分框架； sympy 强大的科学计算库，使用的是符号微分，通过生成符号表达式进行求导；求得的导数不一定为最简的，当...
Pytorch学习入门（二）--- Autograd
热门推荐
Hungryof的专栏
04-30 1万+
pytorch能自动反向传播。 前向传播时，能够自动记录每个操作的拓扑顺序，反向传播时则可以自动反向传播。VariableVariable是一个类，对是对tensor的一个wrapper。 有三个属性.data, .grad和.creator。如果是第一个运算节点，显然.creator是空，.grad只有调用.backward时候才会有。 require_grad可以指定某个variable
添加新的python编译环境，解决：timeError: Legacy autograd function with non-static forward method is deprecated
weixin_44364299的博客
03-29 389
最近在跑SSD神经网络模型的代码，因为自己原来使用的pycharm环境是canda python3.8，torch1.7，现在跑之前的老的代码，总会因为环境不匹配造成很大的困扰。今天和partner通过创建不同的编译环境解决了这个问题。 文章目录前言一、打开pycharm——file——setting——python interpreter二、安装需要的数据库1.引入库——分别添加pytorch1.2.0，opencv、pillow2.切换编译环境2.run predict.py 前言 提示：这里可以添
深度学习与神经网络学习笔记(四)---线性回归
GodWeiJia的博客
08-10 1023
关于深度学习与神经网络的一些学习笔记
q = x*w + b 后向传递梯度求导(求dx,dw,db)
咸鱼有梦想
10-30 711
x:N∗Dx: N*Dx:N∗D w:D∗Mw: D*Mw:D∗M b:Mb: Mb:M 后向传递得到：αfαq=dout\frac{\alpha f}{\alpha q} = doutαqαf​=dout dout:N∗Mdout:N*Mdout:N∗M 求解dxdxdx αqi,kαxi,j=wj,kαfαqi,j∗αqi,kαxi,j=douti,k∗wj,k∵q and&nbsp...
深度神经网络：WX+b vs XW+b
weixin_33670786的博客
12-30 570
作者：chen_h 微信号 & QQ：862251340 微信公众号：coderpai 我的博客：请点击这里在大多数的神经网络教科书中，神经网络一般都会使用 y = WX+B 或者 y = XW+B 的形式。但是在 tensorflow 或者 theano 中，神经网络的实现都是采用了 y = XW+B 的形式。这是为什么呢？我花了很多的时间去查找资料，最后发现一点，可能是 y = XW+...
PyTorch中文文档：自动求导与效率提升详解
PyTorch中文文档提供了深度学习框架的详细介绍，其核心功能之一是自动求导机制（Automatic Differentiation）。这一机制允许开发者轻松地在神经网络中计算梯度，以便进行反向传播和优化。Autograd的设计使得编程更加...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值