胡乱解释Softmax和Loss

设结果分为三种情况，0为假，1为真。

本例子中我们的ground truth为

现在给定的输入为:

假设

经过softmax后(公式太复杂了懒得打了)，

对于大部分任务，我们进行训练的目的就是让Loss函数尽可能地小，交叉熵函数的表示为：

先说为啥要让Loss尽可能地小，

简单介绍一下，这个函数的图像大概为：

我们的终极目的是训练的让该出现“真”的地方为1，可以看到，当越接近1时，Loss最终结果即即上面的的值越趋近于0。这就是为啥我们要让Loss尽可能地小。