Softmax vs. SoftmaxWithLoss
Softmax function:
pj=ezj∑kezk p j = e z j ∑ k e z k
其中, zj=ωTjx+bj z j = ω j T x + b j 是一个向量,表示第 j j 个样本的线性预测。
Softmax Loss function(cross-entropy):
SoftmaxWithLoss的推导
首先求 pj p j 对 zi z i 的导数:
当 i=j i = j 时:
∂pj∂zi=∂∂zi(ezj∑k