激活函数之sigmoid激活

 

1 sigmoid激活：

激活函数(activation function)的作用：

1）线性模型表达能力不足，通过激活函数来编码非线性表达，从而捕捉数据的非线性因素；

2）在深层卷积神经网络中，激活函数在每一层除了扮演非线性单元的角色，并且还起到了特征选择的作用。例如，经Rectified Linear Unit, ReLU抑制为0的神经元在之后的学习过程中不起任何作用。

 

激活函数(activation function)：我们知道在多层的神经网络中，上一层的神经元(neuron)信号，即线性单元wx+b算出的结果，要输入到下一层，但是这个信号在输入到下一层之前需要一次激活f = sigmoid(wx+b)，或f = ReLU(wx+b)。我们需要选择一些信号在下一层的神经元激活。如何表示激活呢？就是当激活函数的输出结果是0，就代表抑制，是1，就代表激活。因为按照下一层的线性单元wx+b的计算来看，如果x接近于0，那么就会阻止x对应的权重w起作用，如果接近1，这个权重w的作用会最大，这就是激活的含义。

如下图：

 

我们知道常见的激活函数有sigmoid 和 ReLU（以及relu的各种变形）。

 

sigmoid的函数形状：

函数表达式：

函数的性质：（很重要）导数可以用自身的形式来表达。

 

2 sigmoid激活的优缺点：

 

sigmod函数的优点：

 

1）实现简单，导数易获得。

2）输出在[0,1]，所以可以用作输出层，表示概率。

3）最大熵模型，受噪声数据影响较小：

关于最大熵模型的数学解释，请参考博客 https://blog.csdn.net/wolfblood_zzx/article/details/74453434#lr%E7%9A%84%E9%9C%80%E6%B1%82%E9%80%89%E6%8B%A9sigmoid%E6%98%AF%E5%8F%AF%E4%BB%A5%E7%9A%84

 

sigmod函数的缺点：

1）梯度饱和现象：指在sigmoid函数曲线的两段，(x>>0或x<<0)时，梯度接近0，从而在层级神经网络结构中，导致训练缓慢，以及梯度消失现象。

而ReLu从求解梯度的角度，避免了sigmoid映射的饱和现象，但是仍旧会存在“坏死神经元”现象。