Softmax 函数

Softmax函数

——用于多分类神经网络输出

定义
假设我们有一个数组V，Vi表示V中的第i个元素，那么这个元素的Softmax值就是 Si = eVi / ∑jeVj，
也就是该元素的指数，与所有元素指数和的比值。
 
除了直观好理解以外，它还有更多优点。
1.计算与标注样本的差距
在神经网络的计算当中，我们经常需要计算按照神经网络的正向传播计算的分数S1，和按照正确标注计算的分数S2，之间的差距，计算Loss，才能应用反向传播。Loss定义为交叉熵
Li = − log(efyi / ∑jej)
取log里面的值就是这组数据正确分类的Softmax值，它占的比重越大，这个样本的Loss也就越小，这种定义符合我们的要求。
2.计算上非常非常的方便
当我们对分类的Loss进行改进的时候，我们要通过梯度下降，每次优化一个step大小的梯度，这个时候我们就要求Loss对每个权重矩阵的偏导，然后应用链式法则。那么这个过程的第一步，就是求Loss对score的偏导 (下面公式推导部分对于求偏导符号就用求导符号代替)
我们首先定义
Pyi = efyi / ∑jej 是选到yi的概率
Li = − log(efyi / ∑jej) 是我们之前提到的交叉熵
那么我们求Loss对score的偏导就是
∂Li / ∂fyi = − ln(efyi / ∑jej)′ 
= −1∗∑jej / efyi∗(efyi / ∑jej)′
= −1∗∑jej / efyi∗(1−∑j≠fyi ej / ∑jej)′
= −1∗∑jej / efyi∗(−1)∗∑j≠fyi ej∗(−1)∗1 / (∑jej)2∗(∑jej)′
= −1∗∑jej / efyi∗(−1)∗∑j≠fyi ej∗(−1)∗1 / (∑jej)2∗efyi 
= − ∑j≠fyi ej / ∑jej 
= − (1−Pfyi)
= Pfyi − 1
最后结果的形式非常的简单，只要将算出来的概率的向量对应的真正结果的那一维减1，就可以了。