L1和L2正则整理

最新推荐文章于 2023-06-23 17:00:09 发布
最新推荐文章于 2023-06-23 17:00:09 发布
阅读量499 收藏 1
点赞数
分类专栏： 机器学习算法进阶之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39751437/article/details/93292833
版权

文章目录


L1和L2正则化的目标是以不同的方式使参数减小，越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象，提高模型泛化能力。

一、L1和L2正则分别是什么

L1正则即将权重参数的绝对值之和加入到损失函数中，以二元线性回归为例，损失函数变为：
在这里插入图片描述

L2正则即将权重参数的平方之和加入到损失函数中，以二元线性回归为例，损失函数变为：
在这里插入图片描述

二、L1和L2的区别是什么

1、L1正则化是指在损失函数中加入权值向量w的绝对值之和，即各个元素的绝对值之和，L2正则化指在损失函数中加入权值向量w的平方和。

2、L1的功能是使权重稀疏，正则化项非0参数，优化这个直接等于求稀疏解，而L2的功能是使权重平滑

3、L2的解空间为圆形的（平方画出来是圆形），而L1的解空间为菱形（绝对值画出来为菱形）
4、从贝叶斯角度来看，L1正则化相当于对模型参数w引入了拉普拉斯先验，L2正则化相当于引入了高斯先验
解释：当均值为0时，高斯分布在极值点处是平滑的，也就是高斯先验分布认为w在极值点附近取不同值的可能性是接近的，在零附近的概率较大。但对拉普

最低0.47元/天 解锁文章
田田天天甜甜
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
正则化项L1和L2的区别
quanhujing的专栏
08-04 1443
一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别： 　　1.L1是模型各个参数的绝对值之和。 　　　L2是模型各个参数的平方和的开方值。 　　2.L1会趋向于产生少量的特征，而其他的特征都是0. 　　　 因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵 　　 L2会选择更多的特征，这些特征都会接近于0。 最优的参数值很小概率出现在坐标轴上，因此每一...
weight decay（权重衰减）【即“正则化”】
weixin_57234928的博客
03-28 2114
先附上两张李宏毅的ppt（对L2正则化的推导） 看了这两张图：所以weight decay就是正则化。正则化怎么来的？源头就在于LOSS的改变！！！ 其中参数λ是控制L2正则化强度的超参数，λ 设置得越大，对大的权重施加的惩罚就越重。 （1）正则化分L1正则化和L2正则化和L∞正则化 L1正则化会使一些特征的权重变为0，比如你有100个特征，它可能会让40个特征的权重为0，换句话说，抛弃了一些无用的特征。这听上去就很有用，100个特征估计有60个都是无用的特征或噪音，这时候L1正则化就可
NN模型设置--L1/L2正则化
wydbyxr的博客
12-04 1113
正则化的理解   规则化函数Ω有多重选择，不同的选择效果也不同，不过一般是模型复杂度的单调递增函数——模型越复杂，规则化值越大。   正则化含义中包含了权重的先验知识，是一种对loss的惩罚项（regularization term that penalizes parameters）。   L2正则化是权重符合正态分布的先验；L1则是权重符合拉普拉斯分布的先验（对参数引入 拉普拉斯先验 等价...
数据预处理之L1,L2正则化
weixin_41432734的博客
10-15 5532
一、L1、L2正则化概述1. L1和L2的定义L1正则化，又叫Lasso Regression如下图所示，L1是向量各元素的绝对值之和L2正则化，又叫Ridge Regression如下...
L1和L2正则
得克特
07-28 805
文章目录正则化L1正则L2正则区别为什么权值衰减 正则化 L1正则 L1正则化是所有参数的绝对值之和，这就要求所有参数的绝对值之和最小，求导，导数可能为1或-1，而绝对值的取值是大于等于0的，那么就可能导致某些参数在更新的时候趋于0 L2正则 L2正则化是所有参数平方和，导数为2w2w2w，每个参数更新的量与参数www本身相关，www在更新时，会逐渐变慢，www逐渐变小趋于0，而不会变为0。 区别 L0和L1的区别： L0范数是指向量中非0的元素的个数，如果我们用L0范数来规则化一个参数矩阵W的话，希望W
L1+L2正则化逻辑斯蒂模型分类算法.pdf
07-10
结论：L1+L2正则化逻辑斯蒂模型分类算法是一种高效的机器学习算法，能够解决L1正则化逻辑斯蒂算法迭代过程中的奇异问题，并实现特征选择和分类。该算法可以应用于各种实际数据集，具有广泛的应用前景。
L1和L2正则化的概率解释1
08-04
在实际应用中，我们常常会遇到两种主要的正则化方法：L1正则化和L2正则化。这两种方法各有其特点，并且可以从不同的概率角度来看待。 首先，L1正则化，也称为Lasso回归，它的目标是使得模型的权重向量具有稀疏性。...
【一看就懂】机器学习之L1和L2正则化1
08-03
L1和L2正则化是两种最常见的正则化方法，它们在优化过程中对权重向量的不同方式进行约束，以达到简化模型的目的。 1. **L1正则化**： L1正则化引入了一个惩罚项，它是所有权重的绝对值之和乘以一个正的超参数λ。...
L0、L1、L2正则化介绍
06-01
L0、L1、L2正则化是机器学习中常用的技术，以防止过拟合和提高模型的泛化能力。下面对这三种正则化技术进行详细的介绍和比较。 一、L0正则化 L0正则化的值是模型参数中非零参数的个数。它可以防止过拟合，因为稀疏...
LogisticRegression:(c++) 多元逻辑斯蒂回归，并实现随机梯度下降和L1L2正则化项
06-10
多元逻辑斯蒂回归，并实现随机梯度下降和L1/L2正则化项。 参照 在此基础上加入L1和L2 Regularization；关于逻辑斯蒂回归中的L1和L2正则化项详见以下两个链接: 并对输入格式进行泛化，例如可以对“Sun Weather=rainy:...
正则化方法：L1和L2 regularization、数据集扩增、dropout
热门推荐
wepon的专栏
03-14 12万+
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上
比较全面的L1和L2正则化的解释
数据派THU
06-23 266
来源：深度学习基础与进阶 本文约1500字，建议阅读5分钟 本文总结了作者在网上看到的各种角度分析L1正则化和L2正则化降低复杂度的问题。前言前段时间写了一篇文章《深入理解线性回归算法（二）：正则项的详细分析》，文章提到L1是通过稀疏参数（减少参数的数量）来降低复杂度，L2是通过减小参数值的大小来降低复杂度。网上关于L1和L2正则化降低复杂度的解释五花八门，易让人混淆，看完各种版本的解释后过几天又...
tf.nn.l2_loss() 与 权重衰减（weight decay）
yleave的博客
12-17 1983
权重衰减（weight decay）   L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。   L2正则化就是在代价函数后面再加上一个正则化项：   其中 C0C_0C0​ 代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数 w 的平方的和，除以训练集的样本大小 n。λ就是正则项系数，权衡正则项与 C0C_0C0...
L1正则化和L2正则化
qq_52302919的博客
04-01 1万+
在机器学习以及深度学习中我们经常会看到正则化这一名词，下面就浅谈一下什么是正则化？以及正则化的意义所在？ 一、什么是正则化？ 正则化项 (又称惩罚项)，惩罚的是模型的参数，其值恒为非负 λ是正则化系数，是一个超参数，调节惩罚的力度，越大则惩罚力度越大。 二、正则化的目的？ 先上图： 上图从左到右依次为：欠拟合、理想状态、过拟合 欠拟合从字面意思来看就是欠缺拟合程度，这一般在复杂度很低的模型中出现。从数学上来看，一元一次函数为一条直线、一元二次函数为一个曲线，以此类推。那么参数越多，其越能拟合更复杂的特征
L1正则和L2正则的比较分析
zhuhongde的博客
05-28 1万+
参考文献 1.L1正则和L2正则的比较分析详解 2.比较全面的L1和L2正则化的解释 3.正则化项L1和L2的区别 4.L1 相比于 L2 为什么容易获得稀疏解？ 概括：L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 一、概念的介绍 1.L1-norm（L1范数） X的 L1-norm 的定义为： 这个范数在范数家族中相当常见，它有很多名字和...
正则化理解（L1、L2）
奔跑的小仙女
08-14 2500
转自：https://blog.csdn.net/jinping_shi/article/details/52433975 正则化 损失函数一般后面都会添加一个附加项，这个附加项一般分成两种： 一般英文称作 ℓ1-norm 和 ℓ2 -norm，中文称作== L1正则化 ==和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数...
L1和L2正则化区别
vincent2610的专栏
11-30 3万+
1. L1和L2的定义 L1正则化，又叫Lasso Regression 如下图所示，L1是向量各元素的绝对值之和 L2正则化，又叫Ridge Regression 如下图所示，L2是向量各元素的平方和 2. L1和L2的异同点 相同点：都用于避免过拟合 不同点：L1可以让一部分特征的系数缩小到0，从而间接实现特征选择。所以L1适用于特征之间有关联的情况。
【通俗易懂】机器学习中 L1 和 L2 正则化的直观解释
weixin_34121304的博客
06-21 7002
红色石头的个人网站：redstonewill.com 机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。为了避免过拟合，最常用的一种方法是使用使用正则化，例如 L1 和 L2 正则化。但是，正则化项是如何得来的？其背后的数学原理是什么？L1 正则化和 L2 正则化之间有何区别？本文将给...
最优化方法：L1和L2正则化regularization
皮皮blog
08-18 4万+
http://blog.csdn.net/pipisorry/article/details/52108040机器学习和深度学习常用的规则化方法之一：L范数正则化（规格化）。一般来说，监督学习可以看做最小化下面的目标函数）：θ∗=arg⁡minθ1N∑i=1NL(yi,f(xi;θ))+λ 
pytorch实现l1和l2正则化
最新发布
09-01
要使用PyTorch实现L1和L2正则化，可以通过在损失函数中添加相应的正则化项来实现。下面是一个简单的示例： ```python import torch import torch.nn as nn import torch.optim as optim # 定义模型 class MyModel(nn.Module): def __init__(self): super(MyModel, self).__init__() self.linear = nn.Linear(10, 1) def forward(self, x): return self.linear(x) model = MyModel() # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.SGD(model.parameters(), lr=0.01) # 定义正则化权重 l1_lambda = 0.01 l2_lambda = 0.01 # 训练循环 for epoch in range(num_epochs): for inputs, targets in data_loader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) # 添加L1正则化 l1_reg = torch.tensor(0.) for param in model.parameters(): l1_reg += torch.norm(param, 1) loss += l1_lambda * l1_reg # 添加L2正则化 l2_reg = torch.tensor(0.) for param in model.parameters(): l2_reg += torch.norm(param, 2) loss += l2_lambda * l2_reg loss.backward() optimizer.step() ``` 在上述代码中，我们定义了一个`MyModel`类来表示我们的模型。然后，我们使用`nn.MSELoss()`作为损失函数，并使用`optim.SGD`作为优化器。在训练循环中，我们通过遍历模型的参数并计算其L1和L2范数来计算正则化项。然后将正则化项加到损失函数中，通过调整`l1_lambda`和`l2_lambda`参数来控制正则化的强度。最后，我们进行反向传播和参数更新以完成训练。 请注意，这只是一个简单的示例，实际应用中可能还会有其他细节需要考虑，如权重衰减（weight decay）等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值