L1和L2正则化

最新推荐文章于 2024-09-09 00:14:36 发布
最新推荐文章于 2024-09-09 00:14:36 发布
阅读量549 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习 L1和L2正则化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/things_use/article/details/101438564
版权
L1和L2正则化是提高机器学习模型泛化能力的重要手段。L2正则化通过在损失函数中添加权重向量的L2范式，防止过拟合，其几何解释是权重向量位于以原点为中心的圆内。L1正则化则使用权重向量的绝对值之和，除了防止过拟合，还能进行特征选择，因为其极值点可能导致某些特征权重为0。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在机器学习模型中，往往会有模型相对复杂过、拟合的情况。所以为了增加其泛化能力，最常用的方法就是增加正则化，常见的就是L1和L2正则化。

  1. L2正则化

L2正则化，就是在原来损失函数的基础上加上权重向量的L2范式：

 

E是基本损失函数，||ω||2是权重向量的L2范式，也就是向量元素的平方和，λ是两者的调和系数。这种形式我们最常见的就是线性回归模型中的岭回归模型，就是用过的L2正则化。我们将上式转化一种形式：

上面的系数λ/2是为了方便后面计算而写的，反正是个系数，怎么表达都行。后面的是关于ω的平方和公式，为了后面画图方面ÿ

最低0.47元/天 解锁文章
L1和L2正则化的概率解释1
08-04
在实际应用中，我们常常会遇到两种主要的正则化方法：L1正则化和L2正则化。这两种方法各有其特点，并且可以从不同的概率角度来看待。 首先，L1正则化，也称为Lasso回归，它的目标是使得模型的权重向量具有稀疏性。...
详细分析L1和L2正则化
weixin_43646592的博客
02-09 835
正则化：用来控制模型复杂度，减少过拟合，提高泛化能力。一般通过在目标函数中增加惩罚项实现： 目标函数 + α倍的权重范数(L1 or L2)，其中α控制正则化强弱。 L1正则化： 1.解空间的解释：加上了菱形约束，容易在尖角处碰撞出解 2.贝叶斯估计角度解释：假设w的先验分布服从拉普拉斯分布，在0点的概率要更高 L2正则化： 1.解空间角度解释：加了球形约束，等高线.
L1正则化和L2正则化
weixin_34357962的博客
09-28 298
　　L1和L2正则都是比较常见和常用的正则化项，都可以达到防止过拟合的效果。L1正则化的解具有稀疏性，可用于特征选择。L2正则化的解都比较小，抗扰动能力强。 L2正则化 　　对模型参数的L2正则项为 　　　　 即权重向量中各个元素的平方和，通常取1/2。L2正则也经常被称作“权重衰减”（weight decay）和“岭回归”。 　　设带L2正则化的损失函数： 　　　　 假设损失函数在...
【通俗易懂】机器学习中 L1 和 L2 正则化的直观解释
weixin_34121304的博客
06-21 7443
红色石头的个人网站：redstonewill.com 机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。为了避免过拟合，最常用的一种方法是使用使用正则化，例如 L1 和 L2 正则化。但是，正则化项是如何得来的？其背后的数学原理是什么？L1 正则化和 L2 正则化之间有何区别？本文将给...
L1，L2正则化
每天进步一点点
04-11 807
正则化引入的思想其实和奥卡姆剃刀原理很相像，奥卡姆剃刀原理：切勿浪费较多东西，去做，用较少的东西，同样可以做好的事情。 正则化的目的：避免出现过拟合（over-fitting） 经验风险最小化 + 正则化项 = 结构风险最小化 经验风险最小化（ERM），是为了让拟合的误差足够小，即：对训练数据的预测误差很小。 但是，我们学习得到的模型，当然是希望对未知数据有很好的预测能力（泛化能力
正则化项L1和L2的区别
weixin_30699443的博客
04-04 465
https://blog.csdn.net/jinping_shi/article/details/52433975 https://blog.csdn.net/zouxy09/article/details/24971995 一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别： 　　1.L1是模型各个参数的绝对值之和。...
正则化的作用以及L1和L2正则化的区别
热门推荐
Lavi的专栏
08-21 3万+
0 正则化的作用 正则化的主要作用是防止过拟合，对模型添加正则化项可以限制模型的复杂度，使得模型在复杂度和性能达到平衡。 常用的正则化方法有L1正则化和L2正则化。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。 L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归。但是使用正则化来防止过拟合的原理是什么？L1和L...
常见的正则化方法以及L1，L2正则化的简单描述
2301_76846375的博客
09-09 2749
L1 正则化通过让一些权重趋向于零，从而减少不必要的特征，简化模型。L2 正则化通过让权重整体变小，避免某些权重过大，从而减少过拟合的风险。在实际应用中，L1 更适合做特征选择，而 L2 更适合处理权重过大的问题。有时我们可以结合两者的优势，使用 Elastic Net 正则化，兼具稀疏性和权重缩小的效果。L1 正则化对每个权重 www 的更新，在原有的梯度更新基础上，施加了一个与权重符号相关的减小量。简单来说，L1 正则化的惩罚项是权重 www 的绝对值，因此对不同符号的权重，影响也不同。
L1, L2 正则化
hello
05-18 411
L1, L2 正则化 1.正则化的目的----防止过拟合。 2.正则化的手段----约束需要优化参数的个数。 1. L1 正则化 R(w)=||w||=
【深度学习】正则化方法——L1和L2正则化
第三季度的博客
05-27 5093
凡是能解决模型泛化误差而不是训练误差的方法，都被称为正则化。模型的泛化误差主要是由模型过拟合引起的，所以正则化的各种方法用于解决模型过拟合的问题。
L1和L2正则化(regularization)
August-us的博客
04-07 2万+
L1和L2正则化   理论上来说，只要参数足够多，而且参数之间的关系足够复杂，模型就可以拟合任意的函数。如果连噪声也都拟合了，这就是过拟合。事实上，我们在学习的时候，需要学习的是数据的普遍特征，但是除了普遍特征之外还存在一些少量数据独有的特征，这个特征，我们倾向称之为噪声。   过拟合的具体表现就不细谈了，可以看到根本的原因就是建立的模型过于复杂了，我们想要让这个模型简单点，拟合的函数简单点，这个...
正则化项L1和L2
云中寻雾的博客
09-06 402
转载自：https://blog.csdn.net/jinping_shi/article/details/52433975 正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1 -norm和ℓ2 -norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩...
L1 L2 正则化
GerHard 的博客
04-03 790
L1 L2 正则化 是什么 ℓ1 -norm和 ℓ2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。 所谓的 “惩罚” 是指对损失函数中的某些参数做一些限制。 对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。 如图，加号后面的分别是 L...
L1以及L2正则化
Duckie的博客
10-04 439
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2
L1和L2正则化的区别
最新发布
03-15
### L1与L2正则化的定义及主要区别 #### 定义 L1正则化是指在损失函数中加入权重向量的L1范数作为惩罚项。这种正则化方式倾向于使部分权重变为零，从而实现特征选择的效果[^2]。 L2正则化则是指在损失函数中加入权重向量的L2范数平方作为惩罚项。这种方式会促使权重值趋向于较小数值，但通常不会完全为零，因此其作用在于防止过拟合并提高模型稳定性[^4]。 --- #### 主要区别 1. **稀疏性** L1正则化更容易获得稀疏解，即某些权重会被精确缩减至零，从而使对应的特征被自动排除在外。而L2正则化虽然也能减少权重大小，但它并不会将任何权重降为绝对意义上的零，而是使其趋近于零，因而不具备真正的稀疏效果。 2. **对异常值敏感程度** 由于L1正则基于绝对值计算，相比起依赖平方运算的L2正则而言，前者对于较大的权值变化更加鲁棒；后者因为涉及平方操作，在面对较大偏离时可能会放大这些偏差的影响[^1]。 3. **几何解释** 在高维空间下观察约束区域形状时发现：采用L1正则形成的边界呈现多面体形态（菱形或其他棱角分明图形），这样的结构更可能接触到坐标轴上的点——对应着某个特定方向上参数全为零的情形；相反地，应用L2正则产生的单位球表面较为圆润光滑，难以触及确切坐标的原点位置[^3]。 4. **适用场景** 如果目标数据集存在许多冗余或者无关紧要的输入变量，则推荐优先考虑使用L1方法来进行建模训练过程中的简化处理。而对于那些希望维持整体平稳表现且不存在明显孤立重要因子的数据集合来说，选用L2策略往往更为合适一些。 5. **优化特性** 加入L2正则后的二次型目标函数通常是严格凸的，有助于梯度下降算法更快收敛到全局最优解附近。然而当引入L1成分之后，尽管依旧保持局部最优点的存在唯一性，但由于非可微性质的缘故，寻找最终答案的过程或许变得稍微复杂一点。 --- ```python import torch from torch import nn, optim class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.linear = nn.Linear(10, 1) def forward(self, x): return self.linear(x) def l1_regularization(model, lambda_l1=0.01): l1_loss = 0 for param in model.parameters(): l1_loss += torch.sum(torch.abs(param)) return lambda_l1 * l1_loss model = Model() criterion = nn.MSELoss() # Example of applying both regularizations during training loop for data, target in dataloader: output = model(data) loss = criterion(output, target) + l1_regularization(model) + (lambda_l2 / 2) * sum([torch.norm(p)**2 for p in model.parameters()]) optimizer.zero_grad() loss.backward() optimizer.step() ``` 上述代码展示了如何在PyTorch框架里手动添加L1和L2正则化项到神经网络模型之中去执行相应的训练流程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值