L1和L2正则化

在机器学习模型中，往往会有模型相对复杂过、拟合的情况。所以为了增加其泛化能力，最常用的方法就是增加正则化，常见的就是L1和L2正则化。

1. L2正则化

L2正则化，就是在原来损失函数的基础上加上权重向量的L2范式：

 

E是基本损失函数，||ω||2是权重向量的L2范式，也就是向量元素的平方和，λ是两者的调和系数。这种形式我们最常见的就是线性回归模型中的岭回归模型，就是用过的L2正则化。我们将上式转化一种形式：

上面的系数λ/2是为了方便后面计算而写的，反正是个系数，怎么表达都行。后面的是关于ω的平方和公式，为了后面画图方面ÿ