03.4 softmax回归

3.4. softmax回归

回归可以用于预测多少的问题。 比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。
事实上，我们也对分类问题感兴趣：不是问“多少”，而是问“哪一个”：

• 某个电子邮件是否属于垃圾邮件文件夹？

• 某个用户可能注册或不注册订阅服务？

• 某个图像描绘的是驴、狗、猫、还是鸡？

• 某人接下来最有可能看哪部电影？

通常，机器学习实践者用分类这个词来描述两个有微妙差别的问题：

1. 我们只对样本的“硬性”类别感兴趣，即属于哪个类别；
2. 我们希望得到“软性”类别，即得到属于每个类别的概率。

这两者的界限往往很模糊。其中的一个原因是：即使我们只关心硬类别，我们仍然使用软类别的模型

3.4.1. 分类问题

输入一个2X2灰度图像，标量表示像素值，每个图像对应四个特征，假设每个图像属于类别“猫”，“鸡”和“狗”中的一个。

3.4.2. 网络架构

一个有多个输出的模型，每个类别对应一个输出。
与线性回归一样，softmax回归也是一个单层神经网络，softmax回归的输出层也是全连接层。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2udYNxCW-1662219628101)(https://zh.d2l.ai/_images/softmaxreg.svg)]

3.4.3. 全连接层的参数开销

全连接层是“完全”连接的，可能有很多可学习的参数

3.4.4. softmax运算

将优化参数以最大化观测数据的概率。 为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签

尽管softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。 因此，softmax回归是一个线性模型（linear model）

3.4.5. 小批量样本的矢量化

为了提高计算效率并且充分利用GPU，我们通常会对小批量样本的数据执行矢量计算。

3.4.6. 损失函数

需要一个损失函数来度量预测的效果,将使用最大似然估计.

3.4.6.1. 对数似然

交叉熵损失（cross-entropy loss）

3.4.6.2. softmax及其导数

3.4.6.3. 交叉熵损失

是分类问题最常用的损失之一

3.4.7. 信息论基础

信息论（information theory）涉及编码、解码、发送以及尽可能简洁地处理信息或数据。

3.4.7.1. 熵

信息论的核心思想是量化数据中的信息内容。
在信息论中，该数值被称为分布的熵（entropy）。

3.4.7.2. 信息量

在观察一个事件时，并赋予它（主观）概率。
我们赋予一个事件较低的概率时，我们的惊异会更大，该事件的信息量也就更大。

3.4.7.3. 重新审视交叉熵

从两方面来考虑交叉熵分类目标：
（i）最大化观测数据的似然；
（ii）最小化传达标签所需的惊异。

3.4.8. 模型预测和评估

在训练softmax回归模型后，给出任何样本特征，我们可以预测每个输出类别的概率。 通常我们使用预测概率最高的类别作为输出类别。
如果预测与实际类别（标签）一致，则预测是正确的。
在接下来的实验中，我们将使用精度（accuracy）来评估模型的性能。
精度等于正确预测数与预测总数之间的比率。

3.4.9. 小结

• softmax运算获取一个向量并将其映射为概率。
• softmax回归适用于分类问题，它使用了softmax运算中输出类别的概率分布。
• 交叉熵是一个衡量两个概率分布之间差异的很好的度量，它测量给定模型编码数据所需的比特数。