动态正则化权重系数_正则化处理

过拟合

过拟合本质上是模型太过复杂，复杂到消弱了模型的泛化能力。由于训练数据时有限的，因此总可以通过增加参数的的方式来提升模型的复杂度，降低训练误差。可正如你学习的领域越专精，可应用的范围可能越窄，则在模型训练中就是指过拟合。

过拟合

如图所示的红色曲线就是过拟合。

正则化

正则化是用于抑制过拟合方法的统称，通过动态调整模型参数的取值 来降低模型的复杂度。这是因为当一些参数的取值足够小时，参数对应的属性对结果的影响微乎其微，这在实质上去除了非相关属性的影响。

线性模型中的正则化

在线性回归里，最常见的正则化方式就是在损失函数中添加正则化项，而添加的正则化项往往是待估计参数的 p- 范数。将均方误差和参数的范数之和作为一个整体来进行约束优化，相当于额外添加了一重关于参数的限制条件，避免大量参数同时出现较大的取值。由于正则化的作用通常是让参数估计值的幅度下降，因此在统计学中它也被称为系数收缩方法。

L1正则化

L2正则化

其中的 α是用来平衡均方误差和参数约束的超参数。当正则化项为 1- 范数时，修正结果就是LASSO；当正则化项为 2- 范数的平方时，修正结果就是岭回归。

本来解空间是全部区域，但通过正则化添加了一些约束，使得解空间变小了，甚至在个别正则化方式下，解变得稀疏了，如图所示两种正则化的区别：