PReLU激活
PReLU(Parametric Rectified Linear Unit), 顾名思义:带参数的ReLU
对ReLU来说,x > 0,时f(y) = x, 而x < 0时,f(y) = 0
而PReLU:x > 0时,f(y) = x(i), x < 0时, f(y) = a(i)x(i)
i为不同的通道
如果ai=0,那么PReLU退化为ReLU;如果ai是一个很小的固定值(如ai=0.01),则PReLU退化为Leaky ReLU(LReLU)。
ReLU相比,LReLU对最终的结果几乎没影响。
PReLU只增加了极少量的参数,也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的,当不同通道使用相同的ai时,参数就更少了。
BP更新ai时,采用的是带动量的更新方式,如下图:
上式的两个系数分别是 μ : 动量 和 ε : 学习率。