Softmax分类模型

最新推荐文章于 2024-07-24 17:01:51 发布

铲屎的胖虎

最新推荐文章于 2024-07-24 17:01:51 发布

阅读量250

点赞数

分类专栏：动手深度学习

本文链接：https://blog.csdn.net/qq_44957388/article/details/104319850

版权

本文介绍了softmax回归模型的基本概念，包括权重矢量、神经网络图和softmax运算符，以及它如何解决分类问题。同时，文章讨论了交叉熵损失函数在模型训练中的作用。还提及了Fashion-MNIST数据集，用于图像分类任务，以及在PyTorch中使用torchvision进行数据处理和模型实现。

摘要由CSDN通过智能技术生成

softmax和分类模型

内容包含：

softmax回归的基本概念
如何获取Fashion-MNIST数据集和读取数据
softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型
使用pytorch重新实现softmax回归模型

softmax的基本概念

分类问题
一个简单的图像分类问题，输入图像的高和宽均为2像素，色彩为灰度。
图像中的4像素分别记为 $x_1, x_2, x_3, x_4$ 。
假设真实标签为狗、猫或者鸡，这些标签对应的离散值为 $y_1, y_2, y_3$ 。
我们通常使用离散的数值来表示类别，例如 $y_1=1, y_2=2, y_3=3$ 。
权重矢量
$\begin{aligned} o_1 &= x_1 w_{11} + x_2 w_{21} + x_3 w_{31} + x_4 w_{41} + b_1 \end{aligned}$

$\begin{aligned} o_2 &= x_1 w_{12} + x_2 w_{22} + x_3 w_{32} + x_4 w_{42} + b_2 \end{aligned}$

$\begin{aligned} o_3 &= x_1 w_{13} + x_2 w_{23} + x_3 w_{33} + x_4 w_{43} + b_3 \end{aligned}$

神经网络图
下图用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出 $o_1, o_2, o_3$ 的计算都要依赖于所有的输入 $x_1, x_2, x_3, x_4$ ，softmax回归的输出层也是一个全连接层。

Image Name

$\begin{aligned}softmax回归是一个单层神经网络\end{aligned}$

既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值 $o_i$ 当作预测类别是 $i$ 的置信度，并将值最大的输出所对应的类作为预测输出，即输出 $\underset{i}{\arg\max} o_i$ 。例如，如果 $o_1,o_2,o_3$ 分别为 $0.1, 10, 0.1$ ，由于 $o_2$ 最大，那么预测类别为2，其代表猫。