softmax回归梯度计算及其与logistic回归关系

最新推荐文章于 2023-05-03 17:30:08 发布

cs_wyong

最新推荐文章于 2023-05-03 17:30:08 发布

阅读量617

点赞数

分类专栏：机器学习基础文章标签： softmax回归

本文链接：https://blog.csdn.net/cs_wyong/article/details/79132977

版权

本文详细探讨了softmax回归中损失函数的梯度计算，并将其与logistic回归的梯度形式进行了对比，揭示了两者在梯度和求导形式上的相似性，表明softmax是logistic在多类别问题上的拓展。

摘要由CSDN通过智能技术生成

在softmax回归中，假设我们的训练集由m个已标记样本组成：\[\{ ({x^{(1)}},{y^{(1)}}),...,({x^{(m)}},{y^{(m)}})\} \]且激活函数为softmax函数：\[p({y^{(i)}} = j|{x^{(i)}};\theta ) = \frac{ { {e^{ - {\theta _j}^T{x^{(i)}}}}}}{ {\sum\limits_{l = 1}^k { {e^{ - {\theta _l}^T{x^{(i)}}}}} }}\]损失函数为：\[J(\theta ) = - \frac{1}{m}\sum\limits_{i,j = 1}^m {[I({y^{(i)}} = j)logp({y^{(i)}} = j|{x^{(i)}};\theta )]} \]其中，\[{I({y^{(i)}} = j)}\]为示性函数

这里，损失函数对参数的梯度的第t个分量应该分为两种情况考虑(因为待求的分量t可能与softmax函数分子中的(第j个)参数一致，也可能不一致):

t = j 时:\[\begin{gathered}
{\nabla _{ {\theta _t}}}J(\theta ) &= & - \frac{1}{m}\sum\limits_{i = 1}^m {[\frac{1}{ {p({y^{(i)}} = j|{x^{(i)}};\theta )}} \cdot } p({y^{(i)}} = j|{x^{(i)}};\theta ) \cdot (1 - p({y^{(i)}} = j|{x^{(i)}};\t