激活层函数和affine层的反向传播

激活层函数和affine层的反向传播

import numpy as np
#Relu函数实现带反向传播
class Relu:
    def __init__(self):
        self.mask=None

    def forward(self,x):
        self.mask=(x<=0)
        out=x.copy()                    #复制x中的所有元素
        out[self.mask]=0

        return out
    def backward(self,dout):
        dout[self.mask]=0
        dx=dout

        return dx
#如果正向传播时的输人值小于等于0.则反向传播的值为0。因此,反向传播中会便用正问传播时保存的mask，将从上游传来的doutmask中的元素为True的地方设为0。

#Sigmoid函数带反向传播
class Sigmoid:
    def __init__(self):
        self.out=None

    def forward(self,x):
        out=1/(1+np.exp(-x))
        self.out=out

        return out

    def backward(self,dout):
        dx=dout*(1.0-self.out)*self.out

        return dx

#这个实现中，正向传播时将输出保存在了实例变量out中。然后反向传播时，使用该变量out进行计算。

#神经网络的正向传播过程中的矩阵乘积运算在几何学领域称作仿射变换（affine）。因此这里将进行仿射变换的处理实现为affine层。

class Affine:
    def __init__(self):
        self.W=W
        self.b=b
        self.x=None
        self.dW=None
        self.db=None

    def forward(self,x):
        self.x=x
        out=np.dot(x,self.W)+self.b

        return out

    def backward(self,dout):
        dx=np.dot(dout,self.W.T)                       #在numpy模块下.T表示转置矩阵
        self.dW=np.dot(self.x.T,dout)
        self.db=np.sum(dout,axis=0)
        return dx