深度学习与计算机视觉[CS231N] 学习笔记（3.2）：Softmax Classifier（Loss Function）

在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。它能将一个含任意实数的K维的向量$z$“压缩”到另一个K维实向量$\alpha(z)$中，使得每一个元素的范围都在(0,1)}之间，并且所有元素的和为1。看到这里，我们就会自然的将Softmax函数与概率分布函数联系到一起，实际上，我们也正是这么做的。如下图所示，我们将原先的分类器对每一类别的预测分值进行Softmax函数转换，最终所有的值都被压缩到（0，1）范围内，并且所有值之和等于1。这样一来，我们可以认为当前每一类别的分值（压缩后），实际上在给定输入图像$x_i$的前提下，正确标签是$k$的概率，这里k是属于$Y$空间内的任何一个标签值。Softmax函数的形式化定义如下图所示：

如果想要将Softmax函数转化成对应的损失函数，只需要对原函数取log再加负号即可。这里取log是为了方便计算，而加负号是因为当预测结果正确的概率越大时，相应的损失就应该越小。因此，我们就得到了上图中最下方的损失函数。
现在我们对“猫”这幅图片进行损失函数的计算，计算过程如下图所示：