task3:动手深度学习

一、图像增广

图像增广（image augmentation）技术通过对训练图像做⼀一系列列随机改变，来产⽣生相似但⼜又不同的训练本，从⽽而扩⼤大训练数据集的规模。图像增⼴广的另⼀一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从⽽而提⾼高模型的泛化能⼒力力。
1.图像增⼴广基于现有训练数据⽣生成随机图像从⽽而应对过拟合。
2.为了在预测时得到确定的结果，通常只将图像增⼴广应⽤用在训练样本上，⽽而不不在预测时使⽤用含随机操作的图像增⼴广。
3.可以从torchvision的 transforms 模块中获取有关图⽚片增⼴广的类。

二、微调

1. 在源数据集（如ImageNet数据集）上预训练⼀一个神经网络模型，即源模型。
2. 创建⼀一个新的神经⽹网络模型，即⽬目标模型。它复制了了源模型上除了了输出层外的所有模型设计及其
   参数。我们假设这些模型参数包含了了源数据集上学习到的知识，且这些知识同样适⽤用于⽬目标数据
   集。我们还假设源模型的输出层跟源数据集的标签紧密相关，因此在⽬目标模型中不不予采⽤用。
3. 为目标模型添加⼀一个输出⼤大⼩小为⽬目标数据集类别个数的输出层，并随机初始化该层的模型参数。
4. 在目标数据集（如椅⼦子数据集）上训练⽬目标模型。我们将从头训练输出层，⽽而其余层的参数都是
   基于源模型的参数微调得到的。

三、锚框

⽬目标检测算法通常会在输⼊入图像中采样⼤大量量的区域，然后判断这些区域中是否包含我们感兴趣的⽬目标，并调整区域边缘从⽽而更更准确地预测⽬目标的真实边界框（ground-truth bounding box）。不不同的模型使⽤用的区域采样⽅方法可能不不同。这⾥里里我们介绍其中的⼀一种⽅方法：它以每个像素为中⼼心⽣生成多个⼤大⼩小和宽⾼高⽐比（aspect ratio）不不同的边界框。这些边界框被称为锚框（anchor box）。

四、动量法

动量量法的提出是为了了解决梯度下降的上述问题。由于⼩小批量量随机梯度下降⽐比梯度下降更更为⼴广义，本章后
续讨论将沿⽤用7.3节（⼩小批量量随机梯度下降）中时间步 的⼩小批量量随机梯度 的定义。设时间步 的⾃自变量量
为 ，学习率为 。 在时间步 ，动量量法创建速度变量量 ，并将其元素初始化成0。在时间步 ，动
量量法对每次迭代的步骤做如下修改：

其中，动量量超参数 满⾜足 。当 时，动量量法等价于⼩小批量量随机梯度下降。

五、ADAGRAD算法

AdaGrad算法会使⽤用⼀一个⼩小批量量随机梯度 按元素平⽅方的累加变量量 。在时间步0，AdaGrad将 中
每个元素初始化为0。在时间步 ，⾸首先将⼩小批量量随机梯度 按元素平⽅方后累加到变量量 ：
其中 是按元素相乘。接着，我们将⽬目标函数⾃自变量量中每个元素的学习率通过按元素运算重新调整⼀一
下：

六、RMSPROP算法

不不同于AdaGrad算法⾥里里状态变量量 是截⾄至时间步
所有⼩小批量量随机梯度 按元素平⽅方和，RMSProp算法将这些梯度按元素平⽅方做指数加权移动平均。具
体来说，给定超参数 ，RMSProp算法在时间步 计算

和AdaGrad算法⼀一样，RMSProp算法将⽬目标函数⾃自变量量中每个元素的学习率通过按元素运算重新调
整，然后更更新⾃自变量量