ReLU激活函数

一、什么是激活函数？

如何把“激活的神经元的特征”通过函数把特征保留并映射出来，即负责将神经元的输入映射到输出端

二、为什么使用非线性的激活函数？

线性激活函数的输入输出都是线性组合，与没有隐藏层效果相当。非线性激活函数让深层神经网络有意义

三、引入ReLU的原因

1、节省计算量

2、不会出现梯度消失的情况

3、ReLU会使一部分神经元的输出为0，造成网络的稀疏性，并减少了参数的相互依存关系，缓解了过拟合问题的发生

四、为什么用ReLU作为激活函数？

f(x)=max(0,x)

1、不会产生梯度弥散现象

2、部分神经元会被激活，网络稀疏，计算有效率

3、ReLU函数的导数计算更快

五、ReLU函数的优势

1、没有饱和区，不存在梯度消失问题，防止梯度弥散

2、稀疏性

3、没有复杂的指数运算，计算简单，效率提高

4、实际收敛速度较快

5、比sigmoid更符合生物学神经激活机制

六、ReLU的不足

 不可以设置非常大的梯度，可能会导致部分神经元死亡