L1和L2正则化直观理解

最新推荐文章于 2020-04-07 09:54:24 发布

Star_ACE

最新推荐文章于 2020-04-07 09:54:24 发布

阅读量1k

点赞数

分类专栏：神经网络

本文链接：https://blog.csdn.net/qq_34886403/article/details/83105677

版权

正则化用于防止过拟合，L1和L2正则化是常见方法。L1正则化产生稀疏解，利于特征选择；L2正则化使参数更小，避免过拟合。L1正则化的几何解释是一个正方形，而L2是一个圆形。正则化参数λ决定了模型复杂度和泛化能力的平衡。

摘要由CSDN通过智能技术生成

正则化是用于解决模型过拟合的问题。它可以看做是损失函数的惩罚项，即是对模型的参数进行一定的限制。

应用背景：
当模型过于复杂，样本数不够多时，模型会对训练集造成过拟合，模型的泛化能力很差，在测试集上的精度远低于训练集。
这时常用正则化来解决过拟合的问题，常用的正则化有L1正则化和L2正则化。

最小平分损失函数的L1正则化：
在这里插入图片描述
最小平方损失函数的L2正则化：

L1正则化与L2正则化的区别：
在这里插入图片描述
解的唯一性是一个更简单的性质，但需要一点想象。首先，看下图：

绿色的线（L2范数）是唯一的最短的路径，而红色、蓝色、黄色线条（L1范数）都是同一路径，长度一样（12）。可以将其扩展至n-维的情形。这就是为什么L2范数有唯一解而L1并不是。

内置特征选择是L1范数被经常提及的有用的性质，而L2范数并不具备。这是L1范数的自然结果，它趋向于产生稀疏的系数（在后面会解释）。假设模型有100个系数，但是仅仅只有其中的10个是非零的，这实际上是说“其余的90个系数在预测目标值时都是无用的”。L2范数产生非稀疏的系数，因此它不具备这个性质。

计算效率。L1范数没有一个解析解，但是L2范数有。这就允许L2范数在计算上能高效地计算。然而，L1范数的解具备稀疏性，这就允许它可以使用稀疏算法，以使得计算更加高效
注：解析解是指通过严格的公式所求得的解，
例如：方程2y=x
解：
y=0.5x 这是解析解
x=1时，y=0.5 数值解

L1正则化的直观理解
L1正则化(数学符号表示为 $w||_1$ )的公式：在原有的损失函数基础上加上权重参数的绝对值。 $L=L_{loss}+\lambda \sum_{j}|w_j|$