maskrcnn_benchmark理解记录——layers\roi_align.py @staticmethod 及@once_differentiable用于不可导function的反向传播

这篇博客详细解释了如何在PyTorch中扩展`torch.autograd.Function`以处理不可导的操作,特别是在`layers.roi_align.py`中的静态方法`@staticmethod`和`@once_differentiable`的应用。文中探讨了自动求导的工作原理,强调在自定义反向传播过程中,`ctx`对象如何用于存储和恢复中间计算信息。此外,还阐述了在`ROIAlign`模块中,如何处理Variable和Tensor之间的转换,以及它们在forward和backward函数中的角色。
摘要由CSDN通过智能技术生成

参考:【1】【2】【3】

调用某个类的方法,需要先生成一个实例,再通过实例调用方法。Python提供了两个修饰符@staticmethod @classmethod可以使用类直接进行调用。

@staticmethod 声明方法为静态方法,直接通过 类||实例.静态方法()调用。经过@staticmethod修饰的方法,不需要self参数,其使用方法和直接调用函数一样。

一:关于torch.autograd.Function

属性(成员变量)
saved_tensors: 传给forward()的参数,在backward()中会用到。
needs_input_grad:长度为 :attr:num_inputs的bool元组,表示输出是否需要梯度。可以用于优化反向过程的缓存。
num_inputs: 传给函数 :func:forward的参数的数量。
num_outputs: 函数 :func:forward返回的值的数目。
requires_grad: 布尔值,表示函数 :func:backward 是否永远不会被调用。

成员函数
forward()可以有任意多个输入、任意多个输出,但是输入和输出必须是Variable。(官方给的例子中有只传入tensor作为参数的例子)
backward()的输入和输出的个数就是forward()函数的输出和输入的个数。其中,backward()输入表示关于forward()输出的梯度(计算图中上一节点的梯度),
backward()的输出表示关于forward()的输入的梯度。在输入不需要梯度时(通过查看needs_input_grad参数)或者不可导时,可以返回None'''

二、#扩展 torch.autograd

虽然pytorch可以自动求导,但是有时候一些操作是不可导的,这时候你需要自定义求导方式。也就是所谓的 “Extending torch.autograd”.

自动求导是根据每个op的backward创建的graph来进行的, 是在backward的操作中创建计算图,因此:

1. forward函实际操作的对象是tensor。输入tensor,计算输出tensor 
<

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
>