在softmax回归中,假设我们的训练集由m个已标记样本组成:\[\{ ({x^{(1)}},{y^{(1)}}),...,({x^{(m)}},{y^{(m)}})\} \]且激活函数为softmax函数:\[p({y^{(i)}} = j|{x^{(i)}};\theta ) = \frac{ { {e^{ - {\theta _j}^T{x^{(i)}}}}}}{ {\sum\limits_{l = 1}^k { {e^{ - {\theta _l}^T{x^{(i)}}}}} }}\]损失函数为:\[J(\theta ) = - \frac{1}{m}\sum\limits_{i,j = 1}^m {[I({y^{(i)}} = j)logp({y^{(i)}} = j|{x^{(i)}};\theta )]} \]其中,\[{I({y^{(i)}} = j)}\]为示性函数
这里,损失函数对参数的梯度的第t个分量应该分为两种情况考虑(因为待求的分量t可能与softmax函数分子中的(第j个)参数一致,也可能不一致):
t = j 时:\[\begin{gathered}
{\nabla _{
{\theta _t}}}J(\theta ) &= & - \frac{1}{m}\sum\limits_{i = 1}^m {[\frac{1}{
{p({y^{(i)}} = j|{x^{(i)}};\theta )}} \cdot } p({y^{(i)}} = j|{x^{(i)}};\theta ) \cdot (1 - p({y^{(i)}} = j|{x^{(i)}};\t