本文详细介绍了权重衰减，即L2正则化的概念及其在高维线性回归中的作用。通过模拟数据和训练模型，展示了权重衰减如何缓解过拟合，使模型在测试集上的性能得到提升，并提供了使用权重衰减的代码示例。
1.权重衰减
面对过拟合问题，最有效的方法就是增加数据集的大小，但是增加数据往往是比较困难的，短期内很难实现，因为数据都是积累而来的。所以着重专注于应用正则化处理数据来实现减少过拟合。
1.1 规范 和 权重衰减
权重衰减等价于 L 2 L_2 L2 范数正则化（regularization）。则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。线性回归损失函数：
L ( w , b ) = 1 n ∑ i = 1 n 1 2 ( w ⊤ x ( i ) + b − y ( i ) ) 2 L(\mathbf{w}, b) = \frac{1}{n}\sum_{i=1}^n \frac{1}{2}\left(\mathbf{w}^\top \mathbf{x}^{(i)} + b - y^{(i)}\right)^2 L(w,b)=n1i=1∑n21(w⊤x(i)+b−y(i))2
其中 w w w是权重参数， b b b 是偏差参数。带有 L 2 L_2 L2 范数惩罚项的新损失函数为：
L ( w , b ) + λ 2 ∥ w ∥ 2 L(\mathbf{w}, b) + \frac{\lambda}{2} \|\mathbf{w}\|^2 L(w,
最低0.47元/天 解锁文章
扫一扫
795
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
