3.4 softmax回归

回归可以用于预测多少的问题。比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。事实上，我们也对分类问题感兴趣：不是问“多少”，而是问“哪一个”。通常，在机器学习实践者用分类这个词来描述两个有微妙差别的问题：

1. 如果只对样本的“硬性”类别感兴趣，即属于哪个类别；
2. 如果希望得到“软性”类别，即得到属于每个类别的概率。

💻 参考资料：李沐《动手学深度学习-Pytorch版》📢ch3 线性神经网络
🎈 开源地址：动手学深度学习
🔊 链接至上一节：3.3 线性回归的简洁实现
🎀 此篇仅仅学习记录，更详细的内容可参考开源的书和代码以及b站上李沐老师的视频动手学深度学习在线课程。

1. 分类问题

在统计学上，一种表示分类数据的简单方法：独热编码（one-hot encoding）。独热编码是一个向量，它的分量和类别一样多。类别对应的分量设置为1，其他所有分量设置为0。举个例子：如果有3个类别，分别是猫、鸡、狗，那么标签$y$将是一个三维向量，其中$(1,0,0)$对应于“猫”、$(0,1,0)$对应于“鸡”、$(0,0,1)$对应于“狗”：
$$y\in \{(1,0,0),(0,1,0),(0,0,1)\}.$$

2. 网络架构

为了估计所有可能类别的条件概率，需要一个有多个输出的模型，每个类别对应一个输出。为了解决线性模型的分类问题，需要和输出一样多的仿射函数（affine function）。每个输出对应于它自己的仿射函数。在上面的例子中，如果每个类别对应4个特征$x_1,x_2,x_3,x_4$。由于我们有4个特征和3个可能的输出类别。我们将需要12个标量来表示权重（带下标的$w$），3个标量来表示偏置（带下标的$b$）。下面为每个输入计算三个未规范化的预测（logit）：$o_1$、$o_2$和$o_3$。
$$\begin{array}{rl}{o}_1& =x_1{w}_{11}+x_2{w}_{12}+x_3{w}_{13}+x_4{w}_{14}+b_1,\\ o_2& =x_1{w}_{21}+x_2{w}_{22}+x_3{w}_{23}+x_4{w}_{24}+b_2,\\ o_3& =x_1{w}_{31}+x_2{w}_{32}+x_3{w}_{33}+x_4{w}_{34}+b_3.\end{array}$$

为了更简洁地表达模型，仍然使用线性代数符号。通过向量形式表达：
$$\mathbf{o}=\mathbf{Wx}+\mathbf{b}$$

由此，我们已经将所有权重放到一个 $3\times 4$ 矩阵中。对于给定数据样本的特征 $\mathbf{x}$ ，我们的输出是由权重与输入特征进行矩阵–向量乘法再加上偏置 $\mathbf{b}$ 得到的。

3. softmax运算

现在我们将优化参数以最大化观测数据的概率。为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。

我们希望模型的输出${\hat{y}}_j$可以视为属于类$j$的概率，然后选择具有最大输出值的类别${\mathrm{argmax}}_j{y}_j$作为我们的预测。例如，如果${\hat{y}}_1$、${\hat{y}}_2$和${\hat{y}}_3$分别为0.1、0.8和0.1，
那么我们预测的类别是2，在上面的例子中代表“鸡”。

然而我们能否将未规范化的预测$o$直接视作我们感兴趣的输出呢？答案是否定的。
因为将线性层的输出直接视为概率时存在一些问题：

一方面，我们没有限制这些输出数字的总和为1。另一方面，根据输入的不同，它们可以为负值。这些违反了概率基本公理。 要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。此外，还需要一个训练的目标函数，来激励模型精准地估计概率。

社会科学家邓肯·卢斯于1959年在选择模型（choice model）的理论基础上发明的softmax函数正是这样做的：softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持可导的性质。为了完成这一目标，🚩🚩🚩首先对每个未规范化的预测求幂，这样可以确保输出非负。为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。如下式：
$$\hat{\mathbf{y}}=\mathrm{softmax}(\mathbf{o})\text{其中}{\hat{y}}_j=\frac{\exp (o_j)}{{\sum }_k\exp (o_k)}$$

这里，对于所有的$j$总有$0\le {\hat{y}}_j\le 1$。因此，$\hat{\mathbf{y}}$可以视为一个正确的概率分布。
softmax运算不会改变未规范化的预测$\mathbf{o}$之间的大小次序，只会确定分配给每个类别的概率。因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。
$$\underset{j}{\mathrm{argmax}}{\hat{y}}_j=\underset{j}{\mathrm{argmax}}{o}_j.$$尽管softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。因此，softmax回归是一个线性模型（linear model）。

4. 小批量样本的矢量化

为了提高计算效率并且充分利用GPU，通常会对小批量样本的数据执行矢量计算。假设我们读取了一个批量的样本$\mathbf{X}$，其中特征维度（输入数量）为$d$，批量大小为$n$。此外，假设我们在输出中有$q$个类别。那么小批量样本的特征为$\mathbf{X}\in {\mathbb{R}}^{n\times d}$，权重为$\mathbf{W}\in {\mathbb{R}}^{d\times q}$，偏置为$\mathbf{b}\in {\mathbb{R}}^{1\times q}$。softmax回归的矢量计算表达式为：
$$\begin{array}{rl}\mathbf{O}& =\mathbf{XW}+\mathbf{b},\\ \hat{\mathbf{Y}}& =\mathrm{softmax}(\mathbf{O}).\end{array}$$

相对于一次处理一个样本，小批量样本的矢量化加快了$\mathbf{X}和\mathbf{W}$的矩阵-向量乘法。 由于$\mathbf{X}$中的每一行代表一个数据样本，那么softmax运算可以按行（rowwise）执行：对于$\mathbf{O}$的每一行，我们先对所有项进行幂运算，然后通过求和对它们进行标准化。小批量的未规范化预测$\mathbf{O}$和输出概率$\hat{\mathbf{Y}}$都是形状为$n\times q$的矩阵。

5. 损失函数

还需要一个损失函数来度量预测的效果。将使用最大似然估计，这与在线性回归中的方法相同。

5.1 对数似然

softmax函数给出了一个向量$\hat{\mathbf{y}}$，可以将其视为对给定任意输入$\mathbf{x}$的每个类的条件概率。例如，${\hat{y}}_1$=$P(y=\text{猫}\mid \mathbf{x})$。假设整个数据集 { X , Y } \{\mathbf{X}, \mathbf{Y}\} {X,Y}具有$n$个样本，其中索引$i$的样本由特征向量${\mathbf{x}}^{(i)}$和独热标签向量${\mathbf{y}}^{(i)}$组成。可以将估计值与实际值进行比较：
$$P(\mathbf{Y}\mid \mathbf{X})=\prod _{i=1}^{n}P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)}).$$
根据最大似然估计，最大化$P(\mathbf{Y}\mid \mathbf{X})$，相当于最小化负对数似然：
$$-\log P(\mathbf{Y}\mid \mathbf{X})=\sum _{i=1}^n-\log P({\mathbf{y}}^{(i)}\mid {\mathbf{x}}^{(i)})=\sum _{i=1}^{n}l({\mathbf{y}}^{(i)},{\hat{\mathbf{y}}}^{(i)}),$$
其中，对于任何标签$\mathbf{y}$和模型预测$\hat{\mathbf{y}}$，损失函数为：
$$l(\mathbf{y},\hat{\mathbf{y}})=-\sum _{j=1}^q{y}_j\log {\hat{y}}_j.$$

上式中的损失函数通常被称为交叉熵损失（cross-entropy loss）。由于 $\mathbf{y}$ 是一个长度为$q$的独热编码向量，所以除了一个项以外的所有项$j$都消失了。由于所有${\hat{y}}_j$都是预测的概率，所以它们的对数永远不会大于$0$。因此，如果正确地预测实际标签，即如果实际标签$P(\mathbf{y}\mid \mathbf{x})=1$，则损失函数不能进一步最小化。
注意：这往往是不可能的。例如，数据集中可能存在标签噪声（比如某些样本可能被误标），或输入特征没有足够的信息来完美地对每一个样本分类。

5.2 softmax及其导数

利用softmax的定义，得到：
$$\begin{array}{rl}l(\mathbf{y},\hat{\mathbf{y}})& =-\sum _{j=1}^q{y}_j\log \frac{\exp (o_j)}{{\sum }_{k=1}^q\exp (o_k)}\\ & =\sum _{j=1}^q{y}_j\log \sum _{k=1}^q\exp (o_k)-\sum _{j=1}^q{y}_j{o}_j\\ & =\log \sum _{k=1}^q\exp (o_k)-\sum _{j=1}^q{y}_j{o}_j.\end{array}$$
考虑相对于任何未规范化的预测$o_j$的导数，得到：
$${\partial }_{o_j}l(\mathbf{y},\hat{\mathbf{y}})=\frac{\exp (o_j)}{{\sum }_{k=1}^q\exp (o_k)}-y_j=\mathrm{softmax}(\mathbf{o}{)}_j-y_j.$$

换句话说，导数是softmax模型分配的概率与实际发生的情况（由独热标签向量表示）之间的差异。 从这个意义上讲，这与在回归中看到的非常相似，其中梯度是观测值$y$和估计值$\hat{y}$之间的差异。

5.3 交叉熵损失

现在考虑整个结果分布的情况，即观察到的不仅仅是一个结果。对于标签$\mathbf{y}$，可以使用与以前相同的表示形式。唯一的区别是，现在用一个概率向量表示，如$(0.1,0.2,0.7)$，而不是仅包含二元项的向量$(0,0,1)$。使用上式来定义损失$l$，它是所有标签分布的预期损失值。此损失称为交叉熵损失（cross-entropy loss），它是分类问题最常用的损失之一。

6. 信息论基础

信息论（information theory）涉及编码、解码、发送以及尽可能简洁地处理信息或数据。

6.1 熵

信息论的核心思想是量化数据中的信息内容。在信息论中，该数值被称为分布$P$的熵（entropy）。可以通过以下方程得到：
$$H[P]=\sum _j-P(j)\log P(j).$$

6.2 信息量

压缩与预测有什么关系呢？想象一下，我们有一个要压缩的数据流。如果我们很容易预测下一个数据，那么这个数据就很容易压缩。为什么呢？举一个极端的例子，假如数据流中的每个数据完全相同，这会是一个非常无聊的数据流。由于它们总是相同的，我们总是知道下一个数据是什么。所以，为了传递数据流的内容，我们不必传输任何信息。也就是说，“下一个数据是xx”这个事件毫无信息量。但是，如果我们不能完全预测每一个事件，那么我们有时可能会感到"惊异"。

克劳德·香农决定用信息量（下式）来量化这种惊异程度。在观察一个事件$j$时，并赋予它（主观）概率$P(j)$。当我们赋予一个事件较低的概率时，我们的惊异会更大，该事件的信息量也就更大。在上式中定义的熵，是当分配的概率真正匹配数据生成过程时的信息量的期望。
$$\log \frac{1}{P(j)}=-\log P(j)$$

6.3 重新审视交叉熵

如果把熵$H(P)$想象为“知道真实概率的人所经历的惊异程度”，那么什么是交叉熵？

交叉熵从$P$到$Q$，记为$H(P,Q)$。可以把交叉熵想象为主观概率为$Q$的观察者在看到根据概率$P$生成的数据时的预期惊异。当$P=Q$时，交叉熵达到最低。在这种情况下，从$P$到$Q$的交叉熵是$H(P,P)=H(P)$。

简而言之，我们可以从两方面来考虑交叉熵分类目标：

（i）最大化观测数据的似然；
（ii）最小化传达标签所需的惊异。

7. 模型预测和评估

在训练softmax回归模型后，给出任何样本特征，可以预测每个输出类别的概率。通常使用预测概率最高的类别作为输出类别。如果预测与实际类别（标签）一致，则预测是正确的。在实验中，使用精度（accuracy）来评估模型的性能。精度等于正确预测数与预测总数之间的比率。

8. 引用

引用原书:

@book{zhang2019dive,
    title={Dive into Deep Learning},
    author={Aston Zhang and Zachary C. Lipton and Mu Li and Alexander J. Smola},
    note={\url{http://www.d2l.ai}},
    year={2020}
}

9. softmax回归的从零开始实现

🚩🚩🚩链接至下一节：3.5 softmax回归的从零开始实现