本文介绍了权重衰减（L2范数正则化）作为应对过拟合的策略，通过在损失函数中添加权重参数的平方和惩罚，促使模型参数更小。实验中通过高维线性回归展示了权重衰减如何缓解过拟合，并提供了从零实现和PyTorch简洁实现的方法。
注：本文为《动手学深度学习》开源内容，部分标注了个人理解，仅为个人学习记录，无抄袭搬运意图
3.12 权重衰减
上一节中我们观察了过拟合现象，即模型的训练误差远小于它在测试集上的误差。虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。本节介绍应对过拟合问题的常用方法：权重衰减（weight decay）。
3.12.1 方法
权重衰减等价于 L 2 L_2 L2 范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。我们先描述 L 2 L_2 L2范数正则化，再解释它为何又称权重衰减。
L 2 L_2 L2范数正则化在模型原损失函数基础上添加 L 2 L_2 L2范数惩罚项，从而得到训练所需要最小化的函数。 L 2 L_2 L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以3.1节（线性回归）中的线性回归损失函数
ℓ ( w 1 , w 2 , b ) = 1 n ∑ i = 1 n 1 2 ( x 1 ( i ) w 1 + x 2 ( i ) w 2 + b − y ( i ) ) 2 \ell(w_1, w_2, b) = \frac{1}{n} \sum_{i=1}^n \frac{1}{2}\left(x_1^{(i)} w_1 + x_2^{(i)} w_2 + b - y^{(i)}\right)^2 ℓ(w1,w2,b)=n1i=1∑n21(x1(i)w1+x2(i)w2+b−y(i))2
为例，其中 w 1 , w 2 w_1, w_2 w1,w2是权重参数， b b b是偏差参数，样本 i i i的输入为 x 1 ( i ) , x 2 ( i ) x_1^{(i)}, x_2^{(i)} x1(i),x2(i)，标签为 y ( i ) y^{(i)} y
最低0.47元/天 解锁文章
扫一扫
36万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
