深度学习——激活函数

爱吃芝士的小猪

已于 2024-09-04 20:55:47 修改

阅读量676

点赞数 22

文章标签：深度学习人工智能

于 2024-09-04 20:20:26 首次发布

本文链接：https://blog.csdn.net/batian123/article/details/141902828

版权

1. 激活函数的作用

激活函数 用于对每层的 输出数据进行变换, 进而为整个网络注入了 非线性因素。此时, 神经网络就
可以拟合各种曲线。
没有引入非线性因素的网络等价于使用一个线性模型来拟合。在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了，那么网络的逼近能力就相当有限。
通过给网络输出增加激活函数, 实现引入非线性因素, 使得网络模型可以逼近任意函数(有各种各样的曲线，但只要你的函数多项式够复杂，就能够得到近似的曲线), 提升网络对复杂问题的拟合能力
例子：
- 在二元分类问题中，有一张图片作为输入，要识别这张图片为是不是猫，如果识别这张图片为猫，则输出1作为结果；如果识别出不是猫，那么输出0作为结果。
- 在预测时可以将图片的 RGB矩阵中的像素值提取出来作为特征向量x
- 然后通过线性回归模型进行预测时，预测值 = 权重 * x + 偏置，这个时候得出的预测值有可能不是介于0-1之间，这种预测是没有意义的。但可以通过使用激活函数(例如：sigmoid将预测值修正到0-1之间)

公式：
导函数：
图像：
特点以及应用：
- sigmoid 函数可以将任意的输入映射到 (0, 1) 之间
- 当输入的值大致在 <-6 或者 >6 时，值域几乎不发生变化，意味着输入任何值得到的激活值都是差不多的，这样会丢失部分的信息。**比如：**输入 100 和输出 10000 经过 sigmoid 的激活值几乎都是等于 1
  的，但是输入的数据之间相差 100 倍的信息就丢失了。
- 对于 sigmoid 函数而言，输入值在 [-6, 6] 之间输出值才会有明显差异，输入值在 [-3, 3] 之间才会有比较好的效果。
- 通过上述导数图像，我们发现导数数值范围是 (0, 0.25)，当输入 <-6 或者 >6 时，sigmoid 激活函数图像的导数接近为 0，此时网络参数将更新极其缓慢，或者无法更新。
- 一般来说， sigmoid 网络在 5 层之内就会产生梯度消失现象。而且，该激活函数并不是以 0 为中心的，所以在实践中这种激活函数使用的很少。
- sigmoid函数一般只用于二分类的输出层。

公式：
导函数：
图像：
特点以及应用：
- Tanh 函数将输入映射到 (-1, 1) 之间，图像以 0 为中心，在 0 点对称，当输入大概 <-3 或者 >3 时将被映射为 -1 或者 1。其导数值范围 (0, 1)，当输入的值大概 <-3 或者 > 3 时，其导数近似 0。
- 与 Sigmoid 相比，它是以 0 为中心的，且梯度相对于sigmoid大，使得其收敛速度要比Sigmoid 快，减少迭代次数。然而，从图中可以看出，Tanh 两侧的导数也为 0，同样会造成梯度消失。
- 若使用时可在隐藏层使用tanh函数，在输出层使用sigmoid函数。

在这里插入图片描述

图像：
特点以及应用：
- ReLU 激活函数将小于 0 的值映射为 0，而大于 0 的值则保持不变，它更加重视正信号，而忽
  略负信号，这种激活函数运算更为简单，能够提高模型的训练效率。
- 当 x<0 时，ReLU导数为0，而当 x>0 时，则不存在饱和问题。所以，ReLU 能够在 x>0 时保持梯
  度不衰减，从而缓解梯度消失问题。然而，随着训练的推进，部分输入会落入小于0区域，导
  致对应权重无法更新。这种现象被称为“神经元死亡”。
- ReLU是目前最常用的激活函数。
- 与sigmoid相比，RELU的优势是：
  - 采用 sigmoid 函数，计算量大（指数运算），反向传播求误差梯度时，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多。
  - sigmoid 函数反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。 Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。

在这里插入图片描述

目标：

将多分类的结果以概率的形式展现出来

即：Softmax 就是将网络输出的 logits 通过 softmax 函数，就映射成为(0,1)的值，而这些值的累和
为1（满足概率的性质），那么我们将它理解成概率，选取概率最大（也就是值对应最大的）节
点，作为我们的预测目标类别。

在这里插入图片描述