本文介绍了权重衰减，即L2范数正则化，作为应对过拟合的方法。通过在损失函数中添加L2范数惩罚项，使模型参数值减小。以高维线性回归实验为例，展示了权重衰减如何帮助解决过拟合问题，特别是在高维特征和少量训练样本的情况下。
虽然增大训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价高昂。应对过拟合问题的常用方法：权重衰减（weight decay）。
方法
权重衰减等价于 L 2 L_2 L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。首先描述 L 2 L_2 L2范数正则化，再解释它为何又称权重衰减。
L 2 L_2 L2范数正则化在模型原损失函数基础上添加 L 2 L_2 L2范数惩罚项，从而得到训练所需要最小化的函数。 L 2 L_2 L2范数惩罚项指的是模型权重参数每个元素的平方和与一个正的常数的乘积。以线性回归中的线性回归损失函数为例：
ℓ ( w 1 , w 2 , b ) = 1 n ∑ i = 1 n 1 2 ( x 1 ( i ) w 1 + x 2 ( i ) w 2 + b − y ( i ) ) 2 \ell\left(w_{1}, w_{2}, b\right)=\frac{1}{n} \sum_{i=1}^{n} \frac{1}{2}\left(x_{1}^{(i)} w_{1}+x_{2}^{(i)} w_{2}+b-y^{(i)}\right)^{2} ℓ(w1,w2,b)=n1i=1∑n21(x1(i)w1+x2(i)w2+b−y
最低0.47元/天 解锁文章
904
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
