pytorch自定义操作层,正向和反向

torch 自定义操作层, 前向和反向过程

在torch中定义正向一定要注意是否使用Variable
比如,在定义层的forward中
正确定义是这样的:

    def forward(self, infeature):
        infeature = infeature.reshape(self.inshape[1], self.inshape[2]) / self.p_pixel_num
        infeature = torch.mm(infeature, self.pooling).reshape(self.outshape)
        return infeature

错误定义如下:

    def forward(self, feature):
        infeature = infeature.reshape(self.inshape[1], self.inshape[2]) / self.p_pixel_num
        infeature = torch.mm(infeature, self.pooling).reshape(self.outshape)
        outfinfeature= Variable(infeature)
        return outf

使用错误定义会导致梯度传播时,梯度数据为None,且之后的所有梯度为None
原因是添加了Variable,导致梯度不能传播。、

在反向计算中,如果在正向中全部使用的是torch接口,则不需要自己写反向过程。
如果在正向使用自定义操作, 则需要自定义反向过程。具体反向过程定义和正向定义类似。
如有其他相关问题:

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值