为什么是Softmax？

最新推荐文章于 2024-12-17 10:30:04 发布

guyu1003

最新推荐文章于 2024-12-17 10:30:04 发布

阅读量5.6k

点赞数 4

分类专栏：机器学习 ML-数学文章标签：机器学习深度学习 python 神经网络

本文链接：https://blog.csdn.net/guyu1003/article/details/108435774

版权

机器学习同时被 2 个专栏收录

7 篇文章 1 订阅

订阅专栏

ML-数学

4 篇文章 0 订阅

订阅专栏

一、softmax函数

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是:

更形象的如下图表示：

softmax本质上是归一化网络，目的是将多个标量映射为一个概率分布,其输出的每一个值范围在 (0,1) 。

深度神经网络的最后一层往往是全连接层+ softmax（分类网络）

先看一下计算方式：全连接层将权重矩阵与输入向量相乘再加上偏置，将 n个 $(-\infty ,+\infty )$ 的实数映射为 K个 $(-\infty ,+\infty )$ 的实数（分数）;Softmax将 K个 $(-\infty ,+\infty )$ 的实数映射为 K个 (0,1) 的实数（概率），同时保证它们之和为1。

2.交叉熵损失函数

MSE的一个缺点就是其偏导值在输出概率值接近0或者接近1的时候非常小，这可能会造成模型刚开始训练时，梯度几乎消失。
对于分类问题的损失函数来说，分类错误率（分类精确率）和平方和损失都不是很好的损失函数，所以，大家才考虑用交叉熵损失。

交叉熵损失函数经常用于分类问题中，特别是神经网络分类问题，由于交叉熵涉及到计算每个类别的概率，所以在神经网络中，交叉熵与softmax函数紧密相关。为了更好的理解交叉熵与Softmax的关系，下面先介绍一下一些基本信息。

2.1熵与交叉熵

熵的本质是香农信息量（ $log(\frac{1}{p})$ ， -log(p) ）的期望。
熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量 X 的熵 H(X) 定义为：

交叉熵刻画的是实际输出的概率分布和期望输出的概率分布的“距离”（相似度）。交叉熵对两个概率分布的度量结果，不具对称性，所以交叉熵并不是严格意义上的距离。

交叉熵的值越小，则两个概率分布越接近，即实际与期望差距越小。交叉熵中的交叉就体现在p(期望概率分布),q（实际概率分布）。假设概率分布p为期望输出，概率分布q为实际输出， H(X) 为交叉熵。则:

2.2交叉熵损失函数的定义

二分类：

在二分类的情况下，模型最终预测的结果只有2类，对于每个类别我们预测的概率为1-p和p。
此时Binary Cross Entropy：

其中：

y : 样本标签，正样本标签为1，负样本标签为0
p : 预测为正样本的概率

多分类：

多分类实际是二分类的扩展:

其中：

K : 类别的数量
y : 是否是类别c， $y \in(0,1)$
p : 样本属于类别的概率

为什么Cross Entropy损失函数常用于分类问题中呢？我们从一个简单的例子来分析。

问题引入：假设我们有一个 三分类问题，分别用 模型1和 模型2来进行预测。

结果如下：

模型1

| 样本id | 预测值 | 实际值 | 是否预测正确 |

| ------ | ------------- | ------- | ------------ |

| 1 | [0.3,0.3,0.4] | [0,0,1] | √ |

| 2 | [0.3,0.4,0.3] | [0,1,0] | √ |

| 3 | [0.1,0.2,0.7] | [1,0,0] | × |

模型2

| 样本id | 预测值 | 实际值 | 是否预测正确 |

| ------ | ------------- | ------- | ------------ |

| 1 | [0.1,0.2,0.7] | [0,0,1] | √ |

| 2 | [0.1,0.7,0.2] | [0,1,0] | √ |

| 3 | [0.3,0.4,0.3] | [1,0,0] | × |

对样本1和样本2，模型1以0.4>0.3的微弱优势正确预测样本1的标签为类别3，而模型2以0.7>0.2>0.1的巨大优势毫无悬念的正确预测出样本标签。

对于样本3，模型1和模型2均预测错误，但模型1以0.7>0.2>0.1的概率，错误的预测样本标签为标签3,但实际标签为标签1，错的离谱！！！但模型2虽然也预测错了，但0.4>0.3>0.2还不算太离谱。

这里两个模型用Classification Error（分类错误率）不能进行区分。用Mean Squared Error（均方误差）计算时，其偏导值在输出概率值接近0或者接近1的时候非常小，这可能会造成模型刚开始训练时，梯度几乎消失。

现在我们用交叉熵损失函数来计算损失函数值。

模型1：
模型2：

可以发现，交叉熵损失函数可以捕捉到模型1和模型2的差异。

2.3函数性质

在一般的神经网络中，交叉熵与softmax函数紧密相关，他们的计算过程大约如下图：

下面我们来推下最后面的交叉熵损失函数的整个求导公式，求导如图所示，分为三个过程：

先看：

结合上图我们再看看：（这一部分即Softmax的求导过程）

·当j=i时候:

当j≠i时候:

在看：

接下来我们只需要把上面的组合起来：

最后针对分类问题，给定的 $y_{i}$ 中只会有一个类别是1，其他类别都是0，所以:

OK，这是注意一下， p(i) 是SoftMax层的输出的概率,而最后的结果，SoftMax层的输出减去1就成了损失函数J的梯度。

梯度就是这么容易计算出来了！！！

而这就是使用Softmax 和 Cross-Entropy 的原因。

softmax 和 cross-entropy 本来太大的关系，只是把两个放在一起实现的话，算起来更快，也更数值稳定。

上面我们说了，cross entropy 不能认为是衡量两个概率分布之间的“距离”。softmax能把一切转换成概率分布，那么自然二者经常在一起使用。

之所以用交叉熵，是因为softmax输出的是概率分布，而衡量概率分布的相似程度的常用方法是KL散度。然后，KL散度和交叉熵几乎是一回事：

so，总结一下，为什么是Softmax？“softmax 的作用是把一个序列，变成概率。” 这个概率不是别的，而是被选项中为 max 的概率。同时，因为Softmax与Cross-Entropy的关系，所以在求解神经网络的过程中，大量的梯度计算就被节省了不少。

神经网络输出层为什么通常使用softmax?

多分类问题，数据（x,y）中y服从多项分布。在广义线性模型中，Softmax函数是多项分布的标准连接函数的反函数，它能够将输出wx+b转化成概率p（其实是将wx+b与y的期望通过连接函数联系起来）。同理，二分类问题，数据(x,y)中y服从伯努利分布，Sigmoid函数是伯努利分布的标准连接函数的反函数，它也可以将wx+b转换成概率p。

Softmax的作用

相比(−∞,+∞)范围内的分数，概率天然具有更好的可解释性，让后续取阈值等操作顺理成章。

经过全连接层，我们获得了K个类别(范围内的分数 $z_{j}$ ，为了得到属于每个类别的概率，先通过 $e^{z_j}$ 将分数映射到(0,+∞)，然后再归一化到(0,1)，这便是Softmax的思想

https://blog.csdn.net/blogshinelee/article/details/84826837