动手学深度学习Pytorch（二）——softmax回归

1. 参考资料

[1] 动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现
课程主页：https://courses.d2l.ai/zh-v2/
教材：https://zh-v2.d2l.ai/
[2] 李沐老师B站视频：https://www.bilibili.com/video/BV1K64y1Q7wu?spm_id_from=333.999.0.0

2. softmax回归

2.1 特点

• 通常多个输出，是一个多分类模型
• 输出i是预测i类的概率
• 使用交叉熵衡量预测和标号的区别
• 尽管softmax是一个非线性函数，但softmax回归仍然为线性回归

2.2 回归步骤

1. 对类别进行有效编码：独热编码（one-hot encoding）

2. 使用均方损失训练

3. 最大值作为预测值：
   $\arg {\max }_i\widehat{y_i}=\arg {\max }_i{o}_i$

4. 需要更置信的识别正确类（大余量）：
   $o_y-o_i>\Delta (y,i)$

5. 输出匹配概率（非负，和为1）
   $$\begin{gathered} \hat{y}=softmax(o) \\ \widehat{y_i}=\frac{\exp (o_i)}{{\sum }_k\exp (o_k)} \end{gathered}$$

6. 交叉熵用来衡量两个概率的区别，$H(p,q)={\sum }_i-p_{i}log(q_i)$
   把交叉熵作为损失可得：
   $$\begin{gathered} l(y,\hat{y})=-\sum _i^q{y}_{i}log(\widehat{y_i})=-\sum _i^q{y}_i\log \frac{\exp (o_i)}{{\sum }_{k=1}^q\exp (o_k)} \\ =\log \sum _{k=1}^q\exp (o_k)-\sum _{i=1}^q{y}_i{o}_j \end{gathered}$$

7. 梯度是真实概率和预测概率的区别：
   $$\begin{gathered} \partial l(y,\hat{y})=\frac{\exp (o_j)}{{\sum }_{k=1}^q\exp (o_k)}-y_j \\ =softmax(o_j)-y_j \end{gathered}$$

理解：
（1）我们希望输出的$\widehat{y_j}$可以作为类j的概率 ，然后选择具有最大输出值的类别。
（2）要将输出视为概率，我们必须保证在任何数据上的输出都是非负的且总和为1。 所以未规范化的预测$o_i$不能作为输出概率。
（3）softmax函数将未规范化的预测变换为非负并且总和为1，同时要求模型保持可导。
$$\hat{y}=softmax(o),\widehat{y_j}=\frac{\exp (o_j)}{{\sum }_k\exp (o_k)}$$

由于softmax运算不会改变预测o之间的顺序，因此在预测过程中我们仍然可以用下式选择最有可能的类别：
$$\arg \underset{i}{\max }\widehat{y_i}=\arg \underset{i}{\max }{o}_i$$

（4）现在，我们将使用最大似然估计来度量预测的效果。
$$P(Y|X)=\prod _{i=1}^{n}P(y^i|x^i)$$

根据最大似然估计，我们最大化P(Y|X)相当于最小化负对数似然：
$$\begin{gathered} -\log P(Y|X)=\sum _{i=1}^{n}l(y^i,\widehat{y^i}) \\ l(y^i,\widehat{y^i})=-\sum _{j=1}^q{y}_j\log \widehat{y_j} \end{gathered}$$

3. 损失函数

3.1 L2 Loss

定义
$$l(y,y^{\prime })=\frac{1}{2}(y-y^{\prime }{)}^2$$

3.2 L1 Loss

定义
$$l(y,y^{\prime })=|y-y^{\prime }|$$

3.3 Huber’s Robust Loss

定义
$$l(y,y^{\prime })=\{\begin{array}{ll}|y-y^{\prime }|-\frac{1}{2},& if|y-y^{\prime }|>1\\ \frac{1}{2}(y-y^{\prime }{)}^2,& otherwise\end{array}$$

3.4 交叉熵损失

定义
$$H(p,q)=\sum _i-p_i\log (q_i)$$

可以理解为“主观概率为Q的观察者看到由概率P生成的数据时的预期惊异”。当$P=Q$时，交叉熵达到最低。

• 最大化观测数据的似然
• 最小化传达标签所需的惊异

熵
数据中的信息内容被称为分布P的熵
$$H[P]=\sum _j-P(j)\log P(j)$$

惊异
当我们不能完全预测每一个事件时，就会感到惊异。
$$-\log P(j)$$

我们观察一个事件j时，当我们赋予j发生的概率低时，我们的惊异会更大。