Softmax回归——识别MINST数据库

最新推荐文章于 2024-03-03 21:33:45 发布

ycheng_sjtu

最新推荐文章于 2024-03-03 21:33:45 发布

阅读量4k

点赞数 1

分类专栏： UFLDL UFLDL 文章标签： Deep Learning UFLDL 深度学习模式识别数据库

本文链接：https://blog.csdn.net/ycheng_sjtu/article/details/38517085

版权

本文介绍了Softmax回归，它是逻辑回归的多分类扩展。详细阐述了Softmax回归的代价函数，强调了权重衰减项的重要性，以确保全局最优解。通过编程实现，提到了编程中应注意的细节，如矩阵维数、内存效率和防止溢出等。最终展示了一个实现的准确率为93.272%。欢迎进一步讨论和关注作者的内容更新。

摘要由CSDN通过智能技术生成

Softmax回归就是推广版本的逻辑回归。

只不过逻辑回归是个2分类问题，而Softmax是多分类问题，仅此而已。

Softmax回归在2分类情况下就蜕化成了逻辑回归。

逻辑回归的代价函数

$\begin{array}{c}J\left(\theta \right) = - \frac{1}{m}\left[ {\sum\limits_{i = 1}^m{\left( {1 - {y^{\left( i \right)}}} \right)\log \left( {1 - {h_\theta }\left({{x^{\left( i \right)}}} \right)} \right)} + {y^{\left( i \right)}}\log {h_\theta }\left( {{x^{\left( i \right)}}}\right)} \right]\\ = -\frac{1}{m}\left[ {\sum\limits_{i = 1}^m {\sum\limits_{j = 0}^1 {1\left\{{{y^{\left( i \right)}} = j} \right\}\log p\left( {{y^{\left( i \right)}} =j\left| {{x^{\left( i \right)}}} \right.;\theta } \right)} } } \right]\end{array}$