ReLU起源于神经科学的研究:2001年,Dayan、Abott从生物学角度模拟出了脑神经元接受信号更精确的激活模型,如下图:
Attwell等神经科学家通过研究大脑的能量消耗过程,推测神经元的工作方式具有稀疏性和分布性;因此Relu也有了单侧抑制性,让神经网络也具备稀疏性。(具备稀疏性计算都不要那么多了,很舒服很轻松,同时稀疏性也能够突显重要特征。)
相比于其它激活函数来说,ReLU有以下优势:对于线性函数而言,ReLU的表达能力更强,尤其体现在深度网络中;而对于非线性函数而言,计算梯度超级简单,而且ReLU由于非负区间的梯度为常数,因此能够解决sigmoid存在的梯度消失问题(Vanishing Gradient Problem),使得模型的收敛速度维持在一个稳定状态。
参考:https://blog.csdn.net/seasermy/article/details/52181482、https://blog.csdn.net/cherrylvlei/article/details/53149381
链接:http://blog.csdn.net/woaidapaopao/article/details/77806273