学习笔记之模型正则化

我们前面提到过，降低方差的方法有模型正则化，此方法也是最重要提供模型泛化能力方法。我们今天了解L1和L2两种正则化方法。用到正则化的算法有Lasso回归、岭回归、支持向量机等。

一、模型正则化概念

模型正则化（Regularization），对学习算法的修改，限制参数的大小，减少泛化误差而不是训练误差。

在使用比较复杂的模型，去拟合数据时，很容易出现过拟合现象(训练集表现很好，测试集表现较差)，这会导致模型的泛化能力下降，这时候，我们就需要使用正则化，降低模型的复杂度。

正则化的策略包括：约束和惩罚被设计为编码特定类型的先验知识 偏好简单模型其他形式的正则化，如：集成的方法，即结合多个假说解释训练数据。

二、L1正则化

L1正则化，就是在目标函数中加了L1范数这一项。使用L1正则化的回归模型叫做LASSO回归（Least Absolute Shrinkage and Selection Operator Regression）。

数学原理就是：若模型过拟合，参数θ就会非常大。为了限制参数θ，我们改变损失函数，加入模型正则化。使$J(\theta )=MSE(y,\hat{y};\theta )+\alpha {\sum }_{i=1}^n|{\theta }_i|$尽可能小。

注意：
①、 ∑ i = 1