在机器学习中,当模型过于复杂时,为了防止产生过拟合的现象,最常用的方法时采用正则化,如L1正则和L2正则.
正则化的本质
L2正则就是在原来的损失函数的基础上加上权重参数的平方和.
L = L 0 + λ ∑ j w j 2 L = L_0 + \lambda\sum_j w_j^2 L=L0+λj∑wj2
其中 L 0 L_0 L0是训练样本误差, λ \lambda λ是正则化参数.
正则化的目的是防止参数过多或者过大,从而避免模型过于复杂. 为了达到这一目的最直接的方法是限制参数的个数,但是这属于NP-hard问题,求解很困难,所以我们通常采取的限定条件是
∑ j w j 2 ≤ C \sum_j w_j^2\leq C j∑wj2≤C
所谓的添加正则项的损失函数,本质上是原始训练误差在给定上述约束条件下的最小化,这样我们通过拉格朗日乘数法即可将其转化为无约束问题,也就是我们添加了正则项的损失函数 L L L,拉格朗日乘子即是正则化参数.
L2正则化
直观解释
假设损失函数是在二维上求解,即参数的个数为2,我们可以绘制出如下图象,其中彩色实线是 L 0 L_0 L0的等值线,黑色的是 L 2 L2 L2的等值线,从二维空间上看, L 2 L2