[深度学习从入门到女装]PReLU

论文地址：Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

 

本文提出一种可学习的ReLU(Parametric Rectified Linear Unit)的改进版

如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。 有实验证明，与ReLU相比，LReLU对最终的结果几乎没什么影响。

 

这篇文章中也提出一种针对PReLU和ReLU的参数初始化方法 基于Xavier的改进 详见https://blog.csdn.net/u012328159/article/details/80025785

 

Xavier initialization

适用于tanh

W=numpy.random.randn()*

 

He initialization

适用于ReLU

W=numpy.random.randn()*

 

为上一层的神经元节点个数

 

参考：

1、https://blog.csdn.net/happynear/article/details/45440811

2、https://blog.csdn.net/shuzfan/article/details/51345832