1、ReLU(Rectified Line Unit,ReLU):修正线性单元,神经网络中常用的激活函数。ReLU的输入是x,当x>0, 其梯度不为0, 可用于权重更新;当x<0, 其梯度为0, 权重无法更新,后续训练中处于静默状态(学习速率变慢,神经元处于不学习状态)。
函数图像:
表达式:
(1)前向过程:ReLU(x)=max(0,x)
(2)后向传播:
a) 将ReLU看作神经网络中的一层,设第层输出是, 然后输入ReLU激活函数后输出是
b)设损失函数L关于第层输出的偏导是
2、Leaky Relu:(与Relu的不同之处在于负轴保留了非常小的常数leak,使得输入信息小于0时,信息没有完全丢掉,进行了相应的保留),即ReLU在取值小于零部分没有梯度,LeakyReLU在取值小于0部分给一个很小的梯度
函数图像:
表达式:
(1)前向过程:
leak是小数,例如leak=0.1
(2)后向传播:
a) 将Leaky ReLU看作神经网络中的一层,设第层输出是, 然后输入Leaky ReLU激活函数后输出是
b)设损失函数L关于第层输出的偏导是