softmax回归模型

转载自《动手学深度学习》(PyTorch版)
在线书籍：https://tangshusen.me/Dive-into-DL-PyTorch
github：https://github.com/ShusenTang/Dive-into-DL-PyTorch

softmax 回归

线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。

softmax回归模型

softmax回归跟线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，softmax回归的输出值个数等于标签里的类别数。因为一共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的w）、偏差包含3个标量（带下标的b），且对每个输入计算 $o1,o2,o3$ 这3个输出：

$$o_1=x_1{w}_{11}+x_{2}w21+x_{3}w31+x_{4}w41+b_1$$

$$o_2=x_1{w}_{12}+x_{2}w22+x_{3}w32+x_{4}w42+b_2$$

$$o_3=x_1{w}_{13}+x_{2}w23+x_{3}w33+x_{4}w43+b_3$$

图3.2用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出 $o_1,o_2,o_3$ 的计算都要依赖于所有的输入$x_1,x_2,x_3,x_4$，softmax回归的输出层也是一个全连接层。

既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值 $o_i$ 当作预测类别是ii的置信度，并将值最大的输出所对应的类作为预测输出，即输出 $\underset{i}{\mathrm{argmax}}{o}_i$ 。例如，如果 $o_1,o_2,o_3$ 分别为$0.1,10,0.1$，由于 $o_2$ 最大，那么预测类别为2，其代表猫。

然而，直接使用输出层的输出有两个问题。一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果$o_1=o_3=10^3$，那么输出值10却又表示图像类别为猫的概率很低。另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。

softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：

$$\widehat{y_1},\widehat{y_2},\widehat{y_3}=softmax(o_1,o_2,o_3)$$

其中:

$$\widehat{y_1}=\frac{exp(o_1)}{{\sum }_{i=1}^{3}exp(o_i)}$$

容易看出 ${\hat{y}}_1+{\hat{y}}_2+{\hat{y}}_3=1$y 且$0\le {\hat{y}}_1,{\hat{y}}_2,{\hat{y}}_3\le 1$，因此 ${\hat{y}}_1,{\hat{y}}_2,{\hat{y}}_3$ 是一个合法的概率分布。这时候，如果 ${\hat{y}}_2=0.8$ ，不管 ${\hat{y}}_1$ 和 ${\hat{y}}_3$ 的值是多少，我们都知道图像类别为猫的概率是80%。