使用Relu的原因及好处

前言

为什么要使用这种非线性激活函数？

实质上就是大部分的生活实际问题都是非线性的，而单单的线性组合往往不足以解决我们生活中的实际问题，也就是我们在利用Machine Learning来学习输出与输入之间的映射关系y=f(x)时，f(x)大部分都是非线性的。具体来说，如果使用线性激活函数或者非线性激活函数，那么无论神经网络的层数有多少还是在解决线性函数问题，因为两个线性函数的组合还是线性的。下面使用来两个图示来直观的解释一下非线性激活函数的好处。

常见的非线性激活函数有sigmoid、tanh和relu等等，那么为什么要使用非线性激活函数呢？

优点

1. 对于深度神经网络，sigmoid函数反向传播时，很容易就出现梯度消失的情况（比如sigmoid函数接近饱和区时，变换太缓慢，导数趋于0，这种情况就会造成信息消失），从而无法完成深层网络的训练。

2. 使用Relu会使部分神