Softmax算法逻辑回归的扩展

最新推荐文章于 2023-10-26 20:51:24 发布

我想娶这个

最新推荐文章于 2023-10-26 20:51:24 发布

阅读量167

点赞数

本文链接：https://blog.csdn.net/hggjgff/article/details/83783294

版权

本文介绍了Softmax回归模型，它是Logistic回归在多分类问题上的扩展，尤其适用于如MNIST手写数字识别等任务。Softmax回归通过估计每个类别的概率来解决多分类问题，其代价函数与Logistic回归类似但更适用于多于两个类别的情况。文章还讨论了Softmax回归的参数冗余、权重衰减、与Logistic回归的关系以及何时选择Softmax回归或多个二元分类器。

摘要由CSDN通过智能技术生成

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

Softmax回归

[hide]

简介

在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 $\textstyle y$ 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由NYU 的Yann LeCun 等人维护。http://yann.lecun.com/exdb/mnist/ ）

回想一下在 logistic 回归中，我们的训练集由 $\textstyle m$ 个已标记的样本构成： $\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}$ ，其中输入特征 $x^{(i)} \in \Re^{n+1}$ 。（我们对符号的约定如下：特征向量 $\textstyle x$ 的维度为 $\textstyle n+1$ ，其中 $\textstyle x_0 = 1$ 对应截距项。）由于 logistic 回归是针对二分类问题的，因此类标记 $y^{(i)} \in \{0,1\}$ 。假设函数(hypothesis function) 如下：

$\begin{align}h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)},\end{align}$

我们将训练模型参数 $\textstyle \theta$ ，使其能够最小化代价函数：

$\begin{align}J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right]\end{align}$