DevAejanlng的博客

原创 Softmax Cross Entropy 梯度推导

Softmax Cross Entropy 梯度推导Softmax的梯度Softmax交叉熵的梯度Softmax的梯度Softmax定义：pi=eai∑k=1Neak,i∈Np_i = \frac{e^{a_i}}{\sum_{k=1}^Ne^{a_k}}, \quad i\in N pi​=∑k=1N​eak​eai​​,i∈N数值稳定的Softmax：eai∑k=1Neak=Ce...