SOFTMAX回归

最新推荐文章于 2024-01-27 11:45:00 发布

Clark-dj

最新推荐文章于 2024-01-27 11:45:00 发布

阅读量374

点赞数

分类专栏： # 动手深度学习

本文链接：https://blog.csdn.net/dujuancao11/article/details/108354917

版权

动手深度学习专栏收录该内容

38 篇文章 15 订阅

订阅专栏

《动手学深度学习pytorch》部分学习笔记，仅用作自己复习。

SOFTMAX回归

前几节介绍的线性回归模型适用于输出为连续值的情景。

在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。

分类问题

让我们考虑⼀个简单的图像分类问题，其输入图像的高和宽均为2像素，且⾊彩为灰度。这样每个像素值都可以⽤一个标量表示。我们将图像中的4像素分别记为 x1,x2,x3,x4。假设训练数据集中图像的真实标签为狗、猫或鸡（假设可以⽤用4像素表示出这3种动物），这些标签分别对应离散值y1,y2,y3 。
我们通常使⽤离散的数值来表示类别，例如y1=1,y2=2,y3=3 。如此，一张图像的标签为1、2和3这3个数值中的一个。虽然我们仍然可以使⽤回归模型来进⾏建模，并将预测值就近定点化到1、2和3这3个离散值之一，但这种连续值到离散值的转化通常会影响到分类质量。因此我们⼀般使用更加适合离散值输出的模型来解决分类问题。

SOFTMAX回归模型

softmax回归跟线性回归⼀样将输入特征与权重做线性叠加。

与线性回归的⼀个主要不同在于，softmax回归的输出值个数等于标签⾥的类别数。因为⼀共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的 w）、偏差包含3个标量（带下标的 b），且对每个输⼊计算这3个输出o1,o2,o3：

下图⽤神经⽹络图描绘了上⾯的计算。softmax回归同线性回归一样，也是一个单层神经⽹络。由于每个输出 o1,o2,o3的计算都要依赖于所有的输⼊ x1,x2,x3,x4，softmax回归的输出层也是⼀个全连接层。

既然分类问题需要得到离散的预测输出，⼀个简单的办法是将输出值 oi当作预测类别是 i的置信度，并将值最⼤的输出所对应的类作为预测输出，即输出 argmaxoi。例如，如果 o1,o2,o3分别为0.1、10、0.1，由于 o2最大，那么预测类别为2，其代表猫。
然⽽，直接使⽤输出层的输出有两个问题。⼀方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果 o1=o3=10^3，那么输出值10却⼜表示图像类别为猫的概率很低。另⼀⽅面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。

softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：

单样本分类的⽮量计算表达式

为了了提⾼计算效率，我们可以将单样本分类通过⽮量计算来表达。在上⾯的图像分类问题中，假设softmax回归的权重和偏差参数分别为

设高和宽分别为2个像素的图像样本 i的特征为

输出层的输出为

预测为狗、猫或鸡的概率分布为

softmax回归对样本 i分类的⽮矢量量计算表达式为

⼩批量样本分类的⽮量计算表达式

交叉熵损失函数

前⾯提到，使⽤softmax运算后可以更⽅便地与离散标签计算误差。我们已经知道，softmax运算将输出变换成⼀个合法的类别预测分布。实际上，真实标签也可以用类别分布表达：对于样本 i，我们构造向量 Yi，使其第 yi（样本 i类别的离散数值）个元素为1，其余为0。这样我们的训练⽬标可以设为使预测概率分布 y^i尽可能接近真实的标签概率分布yi 。