softmax梯度计算

在实际计算中，会遇到数值稳定性(Numerical Stabiltity)的问题，因为我们的 $e^{f_k}$ 和 ${\sum }_j{e}^{f_j}$ 太大了。大数之间相除很容易导致计算结果误差很大。因此这里需要使用下面的小技巧：

$\frac{e^{f_k}}{{\sum }_j{e}^{f_j}}=\frac{C{e}^{f_k}}{C{\sum }_j{e}^{f_j}}=\frac{e^{f_k+{\log }^C}}{{\sum }_j{e}^{f_j+{\log }^c}}$

在实际使用过程中，经常把C取为 ${\log }^C=-\max f_j$
也就是说，在计算损失值之前，将输出向量里面的每个值都要减去该向量里面的最大值。