深度学习 激活函数

什么是激活函数

如上图,在神经元中,输入的inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数(Activation Function).

为什么需要激活函数

激活函数通常有如下一些性质：

• 非线性: 当激活函数是线性的时候,一个两层的神经网络就可以逼近基本上所有的函数了.但是,如果激活函数是恒等激活函数的时候($f(x)=x$)就不满足这个性质了,而且如果MLP使用的是恒等激活函数,那么其实整个网络跟单层神经网络是等价的.
• 可微性:当优化方法是基于梯度的时候,这个性质是必须的.
• 单调性:当激活函数是单调的时候,单层网络能够保证是凸函数.
• $f(x)\approx x$:当激活函数满足这个性质的时候,如果参数的初始化是random的很小的值,那么神经网络的训练将会很高效;如果不满足这个性质,那么就需要很用心的去设置初始值。
• 输出值的范围:当激活函数输出值是有限的时候,基于梯度的优化方法会更加 稳定,因为特征的表示受有限权值的影响更显著;当激活函数的输出是无限 的时候,模型的训练会更加高效,不过在这种情况小,一般需要更小的learning rate.

这些性质，也正是我们使用激活函数的原因!

常见的激活函数

sigmoid函数

• 公式: $\sigma (x)=\frac{1}{1+e^{-x}}$.
• 梯度: ${\sigma }^{\prime }(x)=\sigma (x)(1-\sigma (x))$.
• 梯度消失: 当使用深度网络或者RNN时,由反向传播的理论,会出现多个梯度的连乘,而多个接近于0的数连成会快速逼近0,造成梯度消失,使得几乎没有信号通过神经元传到权重再到数据了.
• 缺点:
  • 梯度消失;
  • 如果初始化的矩阵随机得不好,权重过大,那么饱和会快速出现,模型基本学不到什么东西;
  • 激活函数计算量大;
  • 激活函数不是关于原点中心对称的,进而影响梯度下降的运作.

relu函数

• 公式: $\sigma (x)=\{\begin{array}{c}x,x\ge 0\\ 0,x<0\end{array}$.
• 梯度: ${\sigma }^{\prime }(x)=\{\begin{array}{c}1,x\ge 0\\ 0,x<0\end{array}$.
• 优点:
  • 避免了梯度消失;
  • 保证了神经网络的稀疏性,可以避免过拟合;
  • 计算简单.
• 缺点:
  • 当然 ReLU 也有缺点，就是训练的时候很”脆弱”，当一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了。;

tanh函数

• 公式: $\sigma (x)=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$.
• 梯度: ${\sigma }^{\prime }(x)=1-{\sigma }^2(x)$.
• 优点:
  • tanh在特征相差明显时的效果会很好,在循环过程中会不断扩大特征效果.与 sigmoid 的区别是,tanh 是 0 均值的,因此实际应用中 tanh 会比 sigmoid 更好.
• 缺点:
  • 梯度消失;
  • 激活函数计算量大.

softmax函数

• 公式: $\sigma (x{)}_j=\frac{e^{x_j}}{{\Sigma }_{k=1}^K{e}^{x_k}}$.

• 用于多分类神经网络输出.

• 多分类演示: 如果某一个 $z_j$ 大过其他 $z$,那这个映射的分量就逼近于$1$,其他就逼近于 $0$,主要应用就是多分类.
  

• softmax与logistic的区别:

  • softmax建模使用的分布是多项式分布,而logistic则基于伯努利分布.
  • 多个logistic回归通过叠加也同样可以实现多分类的效果,但是softmax回归进行的多分类,类与类之间是互斥的,即一个输入只能被归为一类;多个logistic回归进行多分类,输出的类别并不是互斥的,即"苹果"这个词语既属于"水果"类也属于"3C"类别.