torch.autograd.Function 学习理解

已于 2023-04-06 18:14:30 修改
阅读量2.8k 收藏 14
点赞数 9
分类专栏： 模式识别与人工智能（程序与算法） 文章标签： 学习 深度学习 python
于 2021-07-17 19:34:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihuanyu520/article/details/118861166
版权
本文深入探讨torch.autograd.Function，用于在量子感知训练中实现直通估计器，确保参数可导。文章通过概述、示例代码和官方Demo（指数函数）帮助读者理解如何定义自定义操作及其反向传播过程。
摘要由CSDN通过智能技术生成

文章目录

前言

在量化感知训练，为了能够进行反向传播，会引入直通估计器，用于保证参数可以求导。我们需要自己定义这些操作，且定义反向求导函数，由于基础知识薄弱，便仔细学习了相关知识。

提示：以下是本篇文章正文内容，下面案例可供参考

一、概述

torch.autograd.Function

只需要实现两个 静态方法：

  • forward可以有任意多个输入、任意多个输出，但是输入和输出必须是Variable。
  • backward的输入和输出的个数就是forward()函数的输出和输入的个数。其中，backward()输入表示关于forward()输出的梯度，backward()的输出表示关于forward()的输入的梯度。

另外还要加上ctx，它可以理解为一个上下文管理器。

了解本专栏 订阅专栏 解锁全文
CV视界
关注
专栏目录
订阅专栏
利用torch.autograd.Function自定义层的forward和backward
01-07
当我们在Pytorch中想自定义某一层的梯度计算时，可以利用torch.autograd.Function来封装一个class，此时可以我们可以自己在backward方法中自定求解梯度的方法，也适用于不可导函数的backward计算。 这个函数的源代码可以从如下链接获取： https://pytorch.org/docs/stable/_modules/torch/autograd/function.html 首先给出一个官方提供的demo: class Exp(torch.autograd.Function): @staticmethod def forward(ctx, i
torch.autograd.Function自定义前向传播和反向传播
最新发布
baidu_39211350的博客
07-09 319
是 PyTorch 提供的一个接口，用于自定义前向传播和反向传播的操作。自定义操作需要继承 torch.autograd.Function 并重载 forward 和 backward 方法。下面是一个简单的示例，展示如何自定义一个平方操作的前向传播和反向传播。
PyTorch学习笔记05——torch.autograd自动求导系统
weixin_53968757的博客
04-07 255
PyTorch学习笔记05——torch.autograd自动求导系统
torch.autograd.Function
weixin_36670529的博客
05-13 2602
对Function的直观理解 Function与Module的差异与应用场景 写一个简单的ReLU Function 1.对Function的直观理解 在之前的介绍中，我们知道，Pytorch是利用Variable与Function来构建计算图的。回顾下Variable，Variable就像是计算图中的节点，保存计算结果（包括前向传播的激活值，反向传播的梯度），而Function就像计算图中...
Pytorch autograd机制(三) —— torch.autograd.Function 自定义求导/反向传播方式
hxxjxw的博客
04-20 3064
虽然pytorch可以自动求导，但是有时候一些操作是不可导的，这时候你需要自定义求导方式。也就是所谓的 "Extending torch.autograd"。 Function与Module的差异与应用场景 Function与Module都可以对pytorch进行自定义拓展，使其满足网络的需求，但这两者还是有十分重要的不同： Function一般只定义一个操作，因为其无法保存参数，因此适用于激活函数、pooling等操作；Module是保存了参数，因此适合于定义一层，如线性层，卷积层，也适用于定.
Pytorch 自定义torch.autograd.Function
ljs_a的博客
08-20 4653
转载自: https://zhuanlan.zhihu.com/p/27783097 https://www.jianshu.com/p/5d5d3957f684 ReLu 函数求导示例： # -*- coding:utf8 -*- import torch from torch.autograd import Variable class MyReLU(torch.autogra...
class torch.autograd.Function 简介
敲代码的小风
12-18 853
参考链接: torch.autograd.Function
基于torch.autograd.Function，实现一个torch.nn.linear功能
07-15
好的，以下是基于`torch.autograd.Function`实现`torch.nn.Linear`功能的示例代码： ```python import torch ...希望这个示例能够帮助你理解如何基于`torch.autograd.Function`实现linear层的功能！
VoxelsSumming(torch.autograd.Function): """Adapted from https://github.com/nv-tlabs/lift-splat-shoot/blob/master/src/tools.py#L193"""这个方法我还是不理解
06-12
这段代码是一个自定义的 PyTorch 的 autograd.Function，用于在神经网络中进行 VoxelsSumming 操作。VoxelsSumming 是一种将多个体素（Voxels）进行加和的操作，通常用于三维图像处理中。这个函数的具体实现可以参考...
【torch小知识点01】自动求导机制：autograd
羊老羊
10-10 1513
pytorch torch 的自动求导机制：autograd
Pytorch学习笔记--torch.autograd.Function的使用
牵一只蜗牛去散步
10-31 705
构建不可连续求导的神经网络时，可以继承 torch.autograd.Function 类，此时需要重写 forward 函数和 backward 函数，其中 backward 函数的作用是返回求导结果。构建可连续求导的神经网络时，往往会继承 nn.Module 类，此时只需重写 __init__ 和 forward 函数即可，pytorch会自动求导；2-2--linear函数实现。2-1--e^x函数实现。
PyTorch自定义梯度
iTom's blog
12-31 2088
[3] 的一个简例。正向 sign：y=sign(x)={−1x<00x=01x>0y=\text{sign}(x)=\begin{cases} & -1 & x < 0 \\ & 0 & x = 0 \\ & 1 & x > 0 \end{cases}y=sign(x)=⎩⎪⎨⎪⎧​​−101​x<0x=0x>0​ 记 L=f(y)，\mathcal{L}=f(y)，L=f(y)，反向 Htanh：∂L∂x={∂L∂y−ϵ
torch.autograd.Function的使用
Bobby's Blog
04-11 751
（个人理解仅供参考）
autograd的Function
huihuixiaoxue的博客
01-11 363
代码： import torch class line(torch.autograd.Function): @staticmethod#静态函数 def forward(ctx, w, x, b): #y = w*x + b ctx是上下文管理器 ctx.save_for_backward(w, x, b)#对变量进行存储 return w * x + b#定义前向运算 raise @staticmetho..
torch.autograd
JachinMa的博客
06-16 298
待写…
torch.autograd.function
03-16
torch.autograd.Function 是 PyTorch 中自动求导系统的核心部分之一。它是一个抽象类，提供了 forward 和 backward 方法，用于定义前向计算和反向计算。通常，在实现自定义自动求导操作时需要继承该类并实现这两个方法。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CV视界

如果感觉有用，可以打赏哦~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值