the backward function

class Sigmoid(Function):

    @staticmethod

    def forward(ctx, x):

            output = 1/(1 + t.exp(-x))

            ctx.save_for_backward(output)

            return output

    @staticmethond

    def backward(ctx,  grad_output):

        output, = ctx.saved_variables

        grad_x = output * (1 - output) * grad_output

        return grad_x



def f_sigmoid(x):

    y = Sigmoid.apply(x)

    y.backward(t.ones(x.size()))



the backward part in f_sigmoid function has optimized the process of backward

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值