深度学习基础20（权重衰退以及代码实现详解）

权重衰减

下面来学习一些正则化模型的技术。

为什么要正则化？

• 我们可以通过去收集更多的训练数据来缓解过拟合。 但这可能成本很高，耗时颇多，或者完全超出我们的控制，因而在短期内不可能做到。 假设我们已经拥有尽可能多的高质量数据，便将重点放在正则化技术上。

实际上，限制特征的数量是缓解过拟合的一种常用技术。

但简单地丢弃特征对于这项工作来说可能过于生硬。 我们继续思考多项式回归的例子，考虑高维输入可能发生的情况。 多项式对多变量数据的自然扩展称为单项式（monomials）， 也可以说是变量幂的乘积。 单项式的阶数是幂的和。

注意，随着阶数𝑑的增长，带有阶数𝑑的项数迅速增加。

即使是阶数上的微小变化，比如从2到3， 也会显著增加我们模型的复杂性。

因此，我们经常需要一个更细粒度的工具来调整函数的复杂性。

范数与权重衰减

权重衰减是最广泛使用的正则化的技术之一

在训练参数化机器学习模型时， 权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为𝐿2正则化。

这项技术通过函数与零的距离来衡量函数的复杂度， 因为在所有函数𝑓中，函数𝑓=0（所有输入都得到值0） 在某种意义上是最简单的。

一种简单的方法是通过线性函数 𝑓(𝐱)=𝐰⊤𝐱 中的权重向量的某个范数来度量其复杂性， 例如‖𝐰‖2。

要保证权重向量比较小， 最常用方法是将其范数作为惩罚项加到最小化损失的问题中。

将原来的训练目标最小化训练标签上的预测损失， 调整为最小化预测损失和惩罚项之和。

现在，如果我们的权重向量增长的太大， 我们的学习算法可能会更集中于最小化权重范数‖𝐰‖2。

回顾一下线性回归例子。 我们的损失由下式给出：

𝐱(𝑖)是样本𝑖i的特征， 𝑦(𝑖)是样本𝑖的标签， (𝐰,𝑏)是权重和偏置参数。

为了惩罚权重向量的大小， 我们必须以某种方式在损失函数中添加‖𝐰‖2， 但是模型应该如何平衡这个新的额外惩罚的损失？

实际上，我们通过正则化常数λ来描述这种权衡， 这是一个非负超参数，我们使用验证数据拟合：

对于𝜆=0，我们恢复了原来的损失函数。 对于𝜆>0，我们限制‖𝐰‖的大小。

这里我们仍然除以2：当我们取一个二次函数的导数时， 2和1/2会抵消，以确保更新表达式看起来既漂亮又简单。

为什么使用平方范数而不是标准范数（即欧几里得距离）？

• 这样做是为了便于计算。 通过平方𝐿2范数，我们去掉平方根，留下权重向量每个分量的平方和。 这使得惩罚的导数很容易计算：导数的和等于和的导数。

为什么我们首先使用𝐿2范数，而不是𝐿1范数。

• 事实上，这个选择在整个统计领域中都是有效的和受欢迎的。 𝐿2正则化线性模型构成经典的岭回归（ridge regression）算法， 𝐿1正则化线性回归是统计学中类似的基本模型， 通常被称为套索回归（lasso regression）。
• 使用𝐿2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。 这使得学习算法偏向于在大量特征上均匀分布权重的模型。 在实践中，这可能使它们对单个变量中的观测误差更为稳定。
• 相比之下，𝐿1惩罚会导致模型将权重集中在一小部分特征上， 而将其他权重清除为零。 这称为特征选择（feature selection），这可能是其他场景下需要的。

𝐿2正则化回归的小批量随机梯度下降更新如下式：

我们根据估计值与观测值之间的差异来更新𝐰。 然而，我们同时也在试图将𝐰的大小缩小到零。

这就是为什么这种方法有时被称为权重衰减。 我们仅考虑惩罚项，优化算法在训练的每一步衰减权重。

与特征选择相比，权重衰减为我们提供了一种连续的机制来调整函数的复杂度。

较小的𝜆值对应较少约束的𝐰， 而较大的𝜆值对𝐰的约束更大。

是否对相应的偏置𝑏2进行惩罚在不同的实践中会有所不同， 在神经网络的不同层中也会有所不同。 通常，网络输出层的偏置项不会被正则化。

可以看出每次更新参数的时候都会把wt乘以一个小于1的数，所以叫权重衰退

• 权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度
• 正则项权重λ是控制模型复杂度的超参数

高维线性回归

我们通过一个简单的例子来演示权重衰减。

%matplotlib inline
import torch
from torch import nn
from d2l import torch as d2l

首先，生成一些数据，生成公式如下：

(

）

我们选择标签是关于输入的线性函数。 标签同时被均值为0，标准差为0.01高斯噪声破坏。

为了使过拟合的效果更加明显，我们可以将问题的维数增加到𝑑=200， 并使用一个只包含20个样本的小训练集。

n_train, n_test, num_inputs, batch_