动手学深度学习（一）

第一节 线性回归基础

3.1.1.1. 模型

其中 w1 和 w2 是权重（weight）， b 是偏差（bias），且均为标量。

3.1.1.2. 模型训练

训练数据

损失函数

通常，我们用训练数据集中所有样本误差的平均来衡量模型预测的质量

w∗1,w∗2,b∗ ，为使训练样本平均损失最小的解

优化算法

|B| 代表每个小批量中的样本个数（批量大小，batch size），η称作学习率（learning rate）并取正数。

习题
假如你正在实现一个全连接层，全连接层的输入形状是7×8，输出形状是7 × 1，其中7是批量大小，则权重参数w和偏置参数b的形状分别是_8x1___和_1x1___

当数据样本数为 n ，特征数为 d 时，线性回归的矢量计算表达式为

第二节softmax与分类模型

1. softmax回归的基本概念 如何获取Fashion-MNIST数据集和读取数据
2. softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型
3. 使用pytorch重新实现softmax回归模型

前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。

softmax回归跟线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，softmax回归的输出值个数等于标签里的类别数。因为一共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的 w ）、偏差包含3个标量（带下标的 b ），且对每个输入计算 o1,o2,o3 这3个输出：

既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值 oi 当作预测类别是 i 的置信度，并将值最大的输出所对应的类作为预测输出，即输出 argmaxioi 。例如，如果 o1,o2,o3 分别为 0.1,10,0.1 ，由于 o2 最大，那么预测类别为2，其代表猫。

然而，直接使用输出层的输出有两个问题。一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果 o1=o3=103 ，那么输出值10却又表示图像类别为猫的概率很低。另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。

softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：


softmax运算不改变预测类别输出。

第三节多层感知机

多层感知机在单层神经网络的基础上引入了一到多个隐藏层（hidden layer）。隐藏层位于输入层和输出层之间。图3.3展示了一个多层感知机的神经网络图。


多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例并沿用本节之前定义的符号，多层感知机按以下方式计算输出：

其中 ϕ 表示激活函数。在分类问题中，我们可以对输出 O 做softmax运算，并使用softmax回归中的交叉熵损失函数。 在回归问题中，我们将输出层的输出个数设为1，并将输出 O 直接提供给线性回归中使用的平方损失函数。