深度学习中的Softmax函数

深度学习中的Softmax函数

Softmax 定义及作用

Softmax 是一种形如下式的函数：
$$P(i)=\frac{exp({\theta }_i^{T}x)}{{\sum }_{k=1}^{K}exp({\theta }_i^{T}x)}$$
​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $

​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。在回归和分类问题中，通常 $ \theta $ 是待求参数，通过寻找使得 $ P(i) $ 最大的 $ \theta_i $ 作为最佳参数。

​ 但是，使得范围在 $ [0,1] $ 之间的方法有很多，为啥要在前面加上以 $ e $ 的幂函数的形式呢？参考 logistic 函数：
$$P(i)=\frac{1}{1+exp(-{\theta }_i^{T}x)}$$
​ 这个函数的作用就是使得 $ P(i) $ 在负无穷到 0 的区间趋向于 0， 在 0 到正无穷的区间趋向 1,。同样 softmax 函数加入了 $ e $ 的幂函数正是为了两极化：正样本的结果将趋近于 1，而负样本的结果趋近于 0。这样为多类别提供了方便（可以把 $ P(i) $ 看做是样本属于类别的概率）。可以说，Softmax 函数是 logistic 函数的一种泛化。

​ softmax 函数可以把它的输入，通常被称为 logits 或者 logit scores，处理成 0 到 1 之间，并且能够把输出归一化到和为 1。这意味着 softmax 函数与分类的概率分布等价。它是一个网络预测多酚类问题的最佳输出激活函数。

Softmax 函数应用于多分类

​ softmax 用于多分类过程中，它将多个神经元的输出，映射到 $ (0,1) $ 区间内，可以看成概率来理解，因此可以用作多分类

​ 假设我们有一个数组，$ V_i $ 表示 $ V $ 中的第 $ i $ 个元素，那么这个元素的 softmax 值就是

$$S_i=\frac{e^{V_i}}{{\sum }_j{e}^{V_j}}$$

​ 从下图看，神经网络中包含了输入层，然后通过两个特征层处理，最后通过 softmax 分析器就能得到不同条件下的概率，这里需要分成三个类别，最终会得到 $ y=0, y=1, y=2 $ 的概率值。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tsMMcBjI-1628931932927)(img/ch3/3.4.9.1.png)]

如下图，三个输入通过 softmax 后得到一个数组 $ [0.05 , 0.10 , 0.85] $，这就是 soft 的功能。

​ softmax将原来输出是 $ 3,1,-3 $ 通过 softmax 函数射成为 $ (0,1) $ 的值，而这些值的累和为 $ 1 $（满足概率的性质），就可以将它理解成概率，在最后选取输出结点的时候，可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！

本篇文章由一文多发平台ArtiPub自动发布