softmax交叉熵损失函数求导

softmax 函数

softmax(柔性最大值)函数，一般在神经网络中， softmax可以作为分类任务的输出层。其实可以认为softmax输出的是几个类别选择的概率，比如我有一个分类任务，要分为三个类，softmax函数可以根据它们相对的大小，输出三个类别选取的概率，并且概率和为1。

softmax函数的公式是这种形式：

则对于损失函数

计算成本的梯度

 

其中，

] )

如果i = j,则：

如果i != j,则：

则