机器学习之激活函数

最新推荐文章于 2024-09-29 12:06:07 发布

刘不饱

最新推荐文章于 2024-09-29 12:06:07 发布

阅读量5.6k

点赞数 1

分类专栏：机器学习文章标签：机器学习激活函数神经网络

本文链接：https://blog.csdn.net/weixin_38997425/article/details/82906942

版权

机器学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

激活函数

一、为什么需要激活函数

神经网络单个神经元的基本结构由线性输出 Z 和非线性输出 A 两部分组成。如下图所示：

其中，f(x) 即为线性输出 Z，g(x) 即为非线性输出，g() 表示激活函数。通俗来说，激活函数一般是非线性函数，其作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。

举个简单的例子，二分类问题，如果不使用激活函数，例如使用简单的逻辑回归，只能作简单的线性划分，如下图所示：

如果使用激活函数，则可以实现非线性划分，如下图所示：

可见，激活函数能够帮助我们引入非线性因素，使得神经网络能够更好地解决更加复杂的问题。

有个问题，为什么激活函数一般都是非线性的，而不能是线性的呢？从反面来说，如果所有的激活函数都是线性的，则激活函数 g(z)=z，即 a=z。那么，以两层神经网络为例，最终的输出为：

经过推导我们发现网络输出仍是 X 的线性组合。这表明，使用神经网络与直接使用线性模型的效果并没有什么两样。即便是包含多层隐藏层的神经网络，如果使用线性函数作为激活函数，最终的输出仍然是线性模型。这样的话神经网络就没有任何作用了。因此，隐藏层的激活函数必须要是非线性的。

值得一提的是，如果所有的隐藏层全部使用线性激活函数，只有输出层使用非线性激活函数，那么整个神经网络的结构就类似于一个简单的逻辑回归模型，效果与单个神经元无异。另外，如果是拟合问题而不是分类问题，输出层的激活函数可以使用线性函数。

二、常见的激活函数

1.Sigmoid

激活函数 Sigmoid 的图形表达式如下所示：

Sigmoid 函数的取值范围在 (0,1) 之间，单调连续，求导容易，一般用于二分类神经网络的输出层。

下面重点谈一下 Sigmoid 函数的缺点。

首先，Sigmoid 函数饱和区范围广，容易造成梯度消失。饱和区如下图所示：

上图中红色椭圆标注的饱和区曲线平缓，梯度的值很小，近似为零。而且 Sigmoid 函数的饱和区范围很广，例如除了 [-5,5]，其余区域都近似饱和区。这种情况很容易造成梯度消失，梯度消失会增大神经网络训练难度，影响神经网络模型的性能。

其次，Sigmoid 函数输出是非零对称的，即输出恒大于零。这会产生什么影响呢？我们来看，假如 Sigmoid 函数的输出为 σ(Wx+b)，且满足 0<σ(Wx+b)<1。在反向求导过程中，令损失函数 J 对 σ(Wx+b) 的求导为 dσ，现在计算 J 对 W 的偏导数：

其中，σ(Wx+b)>0，1-σ(Wx+b)>0。

若神经元的输入 x>0，则无论 dσ 正负如何，总能得到 dW 恒为正或者恒为负。也就是说参数矩阵 W 的每个元素都会朝着同一个方向变化，同为正或同为负。这对于神经网络训练是不利的，所有的 W 都朝着同一符号方向变化会减小训练速度，增加模型训练时间。就好比我们下楼梯的所需的时间总比直接滑梯下来的时间要长得多，如下图所示：

图中，红色折线是上文讨论的情况，蓝色斜线是 W 不全朝同一方向变化的情况。

值得一提的是，针对 Sigmoid 函数的这一问题，神经元的输入 x 常会做预处理，即将均值归一化到零值。这样也能有效避免 dW 恒为正或者恒为负。

最后还有一点，Sigmoid 函数包含 exp 指数运算，运算成本也比较大。

2、tanh

激活函数 tanh 的图形表达式如下所示：

tanh 函数的取值范围在 (-1,1) 之间，单调连续，求导容易。

相比于 Sigmoid 函数，tanh 函数的优点主要有两个：其一，收敛速度更快，如下图所示，tanh 函数线性区斜率较 Sigmoid 更大一些。在此区域内训练速度会更快。其二，tanh 函数输出均值为零，也就不存在 Sigmoid 函数中 dW 恒为正或者恒为负，从而影响训练速度的问题。

但是，tanh 函数与 Sigmoid 函数一样，也存在饱和区梯度消失问题。其饱和区甚至比 Sigmoid 还要大一些，但不明显。

3、ReLU

激活函数 ReLU 的全称是 Rectified Linear Unit，其图形表达式如下所示：

ReLU 函数是最近几年比较火热的激活函数之一。相比 Sigmoid 和 tanh 函数，其主要优点包括以下几个方面：

没有饱和区，不存在梯度消失问题。
没有复杂的指数运算，计算简单、效率提高。
实际收敛速度较快，大约是 Sigmoid/tanh 的 6 倍。
比 Sigmoid 更符合生物学神经激活机制。

下面这张图对比了 ReLU 与 tanh 的收敛速度差异性。数据集是 CIFAR 10，模型是四层的卷积神经网络。图中，实线代表 ReLU，虚线代表 tanh，ReLU 比 tanh 更快地到达了错误率 0.25 处。（引自论文《ImageNet Classification with Deep Convolutional Neural Networks》）