神经网络激活函数比较

最近看到一篇论文（见参考文献）详细比较了目前主要的激活函数，写的挺详细的。

主要比较了ReLU，Leaky ReLU， Randomized Leaky ReLU（PReLU），写的挺详细的。

ReLu：

Leaky ReLU：

lambda 通常在(0,1)开区间。

Randomized Leaky ReLU（PReLU）：

最后给出一张对比图：

-----------------------------EOF---------------------------

参考文献：

https://arxiv.org/pdf/1505.00853.pdf

https://zh.wikipedia.org/wiki/%E7%BA%BF%E6%80%A7%E6%95%B4%E6%B5%81%E5%87%BD%E6%95%B0

http://blog.csdn.net/shuzfan/article/details/51345832