在机器学习模型中,往往会有模型相对复杂过、拟合的情况。所以为了增加其泛化能力,最常用的方法就是增加正则化,常见的就是L1和L2正则化。
- L2正则化
L2正则化,就是在原来损失函数的基础上加上权重向量的L2范式:
E是基本损失函数,||ω||2是权重向量的L2范式,也就是向量元素的平方和,λ是两者的调和系数。这种形式我们最常见的就是线性回归模型中的岭回归模型,就是用过的L2正则化。我们将上式转化一种形式:
上面的系数λ/2是为了方便后面计算而写的,反正是个系数,怎么表达都行。后面的是关于ω的平方和公式,为了后面画图方面ÿ