ReLU函数

1.非线性激励函数

引入非线性函数作为激励函数，这样深层神经网络就有意义了，不再是输入的线性组合，可以逼近任意函数.

2.选择ReLU作为激活函数

Relu函数的定义是：

Relu函数图像如下图所示：

relu函数的作用就是增加了神经网络各层之间的非线性关系
ReLU函数其实是分段线性函数，把所有的负值都变为0，而正值不变，这种操作被成为单侧抑制。有了单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性。尤其体现在深度神经网络模型(如CNN)中，当模型增加N层之后，理论上ReLU神经元的激活率将降低2的N次方倍。通过ReLU实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据。