l2正则化java代码_L1与L2正则化

过拟合

机器学习中，如果参数过多、模型过于复杂，容易造成过拟合。

结构风险最小化原理

在经验风险最小化(训练误差最小化)的基础上，尽可能采用简单的模型，以提高模型泛化预测精度。

正则化

为了避免过拟合，最常用的一种方法是使用正则化，例如L1和L2正则化。

所谓的正则化，就是在原来损失函数的基础上，加了一些正则化项，或者叫做模型复杂度惩罚项。

L2正则化

L2正则化即：\(L=E_{in}+\lambda\sum_j\omega^2_j\)，其中，\(E_{in}\)是原来的损失函数；\(\lambda\)是正则化参数，可调整；\(\omega_j\)是参数。

由上可知，正则化是为了限制参数过多，避免模型过于复杂。因此，我们可以令高阶部分的权重\(\omega\)为0，这样就相当于从高阶转换为低阶。然而，这是个NP难问题，将其适度简化为：\(\sum_j\omega_j^2≤C\)，令\(\omega_j\)的平方和小于\(C\)。这时，我们的目标就转换为：令\(E_{in}\)最小，但是要遵循\(w\)平方和小于\(C\)的条件，如下图所示：

L1正则化

L1正则化和L2正则化相似：