soft-max

1.什么是soft-max
softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，而且这些值的和为1，因此，可以看成概率来理解，从而来进行多分类。将它理解成概率，在最后选取输出结点的时候，我们就可以选取概率最大（也就是值对应最大的）结点，作为我们的预测目标！
假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是


因为有i类，所以有i个概率值输出，但是我们只想要的是正确预测的概率值，然后计算正确输出的loss值，并将其最小化进行梯度更新，因此设置正确类别yi为1，其余为0，相应的ai即为其真实类别时的soft-max输出。