【理论与实例】L1正则化为什么可以使模型参数具有稀疏性？

最新推荐文章于 2024-04-19 08:50:23 发布
VIP文章 最新推荐文章于 2024-04-19 08:50:23 发布
阅读量3.5k 收藏 16
点赞数 5
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houhuipeng/article/details/94361326
版权

L1正则化为什么可以使模型参数具有稀疏性？

稀疏性就是很多参数为0的情况，对于维度很高的模型，稀疏性意味着抓住主要矛盾，可以提升模型的泛化性能。
L1正则化： W ∗ = a r g m i n ∑ j ( t ( X j ) − ∑ i w i h i ( X i ) ) 2 + λ ∑ i = 1 k ∣ w i ∣ W^*=argmin\sum_j(t(X_j)- \sum_iw_ih_i(X_i))^2+\lambda\sum_{i=1}^k|w_i| W∗=argminj∑​(t(Xj​)−i∑​wi​hi​(Xi​))2

最低0.47元/天 解锁文章
MiaL
关注
  • 5
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
深度学习技巧应用11-模型训练中稀疏化参数与稀疏损失函数的应用
weixin_42878111的博客
05-01 1550
大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用11-模型训练中稀疏化参数与稀疏损失函数的应用，在训练神经网络的过程中，将稀疏损失加入到常规损失函数的作用主要是降低模型复杂性和提高模型泛化能力。通过引入稀疏性约束，优化算法会在减小常规损失的同时，尽量让参数稀疏化。
专家观点：L1正则稀疏？
ARGO的博客
11-01 553
原创：轮回Pan  Refinitiv创新实验室ARGO                 机器学习中为了防止模型过拟合，通常会引入正则化(也称之为惩罚项)。常见的正则化有L1正则和L2正则，两者各有优缺点，而这里我们的关注点是为什么L1正则能导致模型参数稀疏化，而L2不能？         以线性回归为例，其损失函数Loss加上正则项后的形式 L1的形式为:   L2的形式: I ....
python 正则表达式参数替换实例详解
10-15
主要介绍了python 正则表达式参数替换，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
机器学习——L1范数充当正则项，让模型获得稀疏解，解决过拟合问题
qq_53142796的博客
04-17 1539
在讨论上面三个问题之前，我们先来看看什么是过拟合问题:假设我们现在买了一个机器人，想让它学会区分汉字，例如认定前5个字属于第一类，后5个字属于第二类。在这里，10个字是所有的训练的“数据”不幸的是，机器人其实很聪明，它能够把所有的字都“记住”，看过这10个字以后，机器人学会了一种分类的方式:它把前5个字的一笔一划都准确地记在心里。只要我们给任何一个字，如“揪”(不在10个字里面)，它就会很自信地告诉你，非此即彼，这个字属于第二类。
L1正则化——为什么具有稀疏性呢？
最新发布
qlkaicx的博客
04-19 347
首先，L1正则化的正则化项是权重向量的绝对值之和。在优化过程中，这个正则化项会引导模型尽量将某些权重压缩为零。这是因为最小化L1正则化项（即权重向量的绝对值之和）的过程中，优化算法会倾向于让不太重要的权重趋于零。其次，从几何角度来看，L1正则化在优化过程中用一个菱形去逼近目标。这种逼近方式使得L1正则化更容易在坐标轴和目标相交，因此更容易得到稀疏解，即权重向量的某些分量可能为零。
L1、L2的作用
37749442的博客
06-18 2912
L1的作用是为了矩阵稀疏化 L2的作用是为了防止过拟合
稀疏优化L1范数最小化问题求解之基追踪准则(Basis Pursuit)——原理及其Python实现
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
04-04 5609
文章目录一、前言二、问题重述三、构造 ℓ1\ell_1ℓ1​ 范数四、ℓ1\ell_1ℓ1​ 范数最小化问题转换为线性规划问题五、基于linprog的基追踪Python代码六、运行测试七、总结 一、前言 本文针对压缩重构感知中的稀疏优化问题，实现了对其 L1 范数最小化问题 的求解，文章内容较长，请耐心看完，代码部分在本文第五章。 二、问题重述 考虑线性方程组求解问题： Ax=b(1) Ax = b \tag{1} Ax=b(1) 其中向量 x∈Rn×1, b∈Rm×1x \in R^{n\t
L1正则能够得到稀疏解
junjian Li
04-01 1890
在复习到过拟合的解决方法的时候L1正则化和L2正则化都可以用于降低过拟合的风险，但是L1正则化还会带来一个额外的好处：它比L2正则化更容易获得稀疏解，也就是说它求得的w权重向量具有更少的非零分量。主要就其为什么可以防止过拟合总结一下，相当于写个小笔记。 首先L1和L2正则降低了模型的复杂度，是对模型复杂度的惩罚。并且L1正则能够得到稀疏解，L2正则能够得到平滑解。 1、首先为什么L1正则能够得到稀疏解呢？ 1.1 用图解释： l1正则用一个菱形去逼近目标，而l2正则用一个圆形去逼近目标，所以在逼近的过程过，
机器学习面试题之——简单解释正则化为什么能减小模型复杂度
cuiy0818的博客
07-25 1931
理论上，从VC维的角度可以解释，正则化能直接减少模型复杂度。（公式理论略） 直观上，对L1正则化来说，求导后，多了一项η * λ * sgn(w)/n，在w更新的过程中： 当w为正时，新的w减小，当w为负时，新的w增大，意味着新的w不断向0靠近，即减小了模型复杂度。（PS：也是为什么L1能得到稀疏解的一个参考答案） 对L2正则化来说，一方面，w的更新过程为： 若没有L2，则w前面的...
L1正则化及其稀疏性的傻瓜解释
Reaearcher-Du
08-21 9277
本文翻译自：https://blog.mlreview.com/l1-norm-regularization-and-sparsity-explained-for-dummies-5b0e4be3938a 好吧，我想我就是很愚蠢。 在理解一个抽象/数学概念时，我必须把它转化到一张图像中，我必须在脑海中看到并触摸它。 我需要几何、物体、想法背后的直觉，以及现实生活中生动的比喻。 有时当我发现人们不会这样思考或者至少不会这样解释事情时，而是指着方程式和论文对我说没有简单的解释，我就很生气。 通常在我仔细考虑之后
L1正则化使得模型参数具有稀疏性的原理
netcaoniao的专栏
06-08 1964
这个问题是在看正则化的问题引出的，正则化(regularization)是为了解决模型过拟合的问题引出的，为什么会发生过拟合的问题呢，Sparsity and Some Basics of L1 Regularization这篇文章中有提到。 该文章中以线性回归为例,是数据矩阵，是由标签组成的列向量。该问题具有解析解 其中p表示的是特征的维度，n表示的是样本数据的数量，当p远大于n的时...
具有广义正则化与遗忘机制的在线贯序超限学习机
03-06
该算法以增量学习新样本的方式实现在线学习, 以遗忘旧的失效样本的方式增强对非平稳系统的动态跟踪能力, 并通过引入一种广义的l2 正则化使其具有持续的正则化功能,从而保证算法的持续稳定性. 仿真实例表明,所提出...
具有集成流形正则化的多视图聚类生成模型
03-03
在本文中，我们提出了一种具有集成流形正则化的新型生成模型，用于多视图学习，该模型同时考虑了数据的生成和流形结构。 在现实世界中的多视图数据集上的实验结果证明了我们方法的有效性。 :copyright:瑞士施普林格...
一文弄懂L0、L1和L2正则化范式
Haiwi-Song
04-28 8705
文章目录正则化L0范数L1范数L2范数elastic net总结讨论几个问题为什么L1稀疏，L2平滑？实现参数的稀疏有什么好处吗？参数值越小代表模型越简单吗？正则式的应用场景 正则化 正则化的作用实际上就是防止模型过拟合，提高模型的泛化能力。 正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项（regularizer）或惩罚项（penalty term）。正则化一般是模型复杂度的单调递...
深度学习机器学习理论知识：范数、稀疏与过拟合合集（3）范数与稀疏化的原理、L0L1L2范数的比较以及数学分析
呆呆象呆呆的博客
01-26 3196
1、参数稀疏的好处 1.0 为什么参数值越小代表模型越简单 因为越复杂的模型，越会对所有的样本进行拟合，甚至包括一些异常样本点，这就容易造成在较小的区间里预测值产生较大的波动，这种较大的波动也反映了在这个区间里的导数很大，而只有较大的参数值才能产生较大的导数。因此复杂的模型，其参数值会比较大。 1.1 特征选择(Feature Selection)： 正则化所带来的稀疏有个很重要的好处在于它能实现特征的自动选择。 一般来说，输入xix_ixi​的大部分元素（也就是特征）都是和最终的输出yiy_iyi​没有关
稀疏表达（入门）
bestlinjialyin的专栏
02-27 5095
转载自：http://blog.csdn.net/dan1900/article/details/18080445 稀疏表达是近年来SP, ML, PR, CV领域中的一大热点，文章可谓是普天盖地，令人目不暇给。老板某门课程的课程需要大纲，我顺道给扩展了下，就有了这个上中下三篇介绍性质的东西。遗憾的是，我在绝大多数情况下实在不算是一个勤快的人，这玩意可能充满bug，更新也可能断断续续，尽请诸位看
百面机器学习—13.L1正则化与稀疏性
柳杰的博客
05-11 609
文章目录1. 为什么希望模型参数具有稀疏性？2. L1正则化使得模型参数具有稀疏性的原理是什么？角度：解空间形状 1. 为什么希望模型参数具有稀疏性？   稀疏性，说白了就是模型的很多参数是0。这相当于对模型进行了一次特征选择，只留下一些比较重要的特征，提高模型的泛化能力，降低过拟合的可能。在实际应用中，机器学习模型的输入动辄几百上千万维，稀疏性就显得更加重要。 2. L1正则化使得模型参数具有稀疏性的原理是什么？ 角度：解空间形状   在二维的情况下，黄色的部分是L2和L1正则项约束后的解空间，绿色的等高
【深度学习】——过拟合的处理方法
热门推荐
python_AI_fans的博客
09-01 1万+
目录 一、什么是过拟合？（overfitting） 二、过拟合的表现（判定方法） 训练集、测试集、验证集区别 测试集与验证集的区别 三、产生过拟合的原因 1、样本方面 2、模型方面 四、避免过拟合的方法 1、样本方面 1）增加样本量 2）样本筛选（特征降维、特征选择） 2、模型方法 1）正则化 ①概念 ②L0正则化 ③L1正则化 ④L2正则化 ⑤为什么可以避免过拟合？ 2）归一化（Normalization） ①最小最大值归一化（min-max normaliz...
L1正则为什么会产生稀疏解
wang959512421的博客
07-13 3798
L1正则化： 为啥会产生稀疏矩阵：（看图） L1的等值线是方形,等值线相交时很大概率上出现在顶点处，而顶点都在坐标轴上，因此必有其他参数为0，所以用L1正则的解具有稀疏性. 数学解释： 对损失函数求梯度： 我觉得还是图像生动一点，极小值产生时，也就是说损失函数时是一个凹图（没找到图。。） ，即此处的损失函数的导数是为0的，不就是梯度为0吗？梯度不就是w...
L1正则化代码 pytorch
04-29
下面是一个使用PyTorch实现L1正则化的示例代码： ```python import torch import torch.nn as nn class L1Regularization(nn.Module): def __init__(self, penalty): super(L1Regularization, self).__init__() self.penalty = penalty def forward(self, model): l1_penalty = 0 for param in model.parameters(): l1_penalty += torch.norm(param, p=1) return self.penalty * l1_penalty ``` 在这个代码中，我们定义了一个L1Regularization类，它继承了nn.Module类。在构造函数中，我们传入一个penalty参数，该参数用于控制正则化的强度。在forward方法中，我们计算了模型中所有参数的L1范数，并将其乘以penalty参数作为正则化损失返回。然后，我们可以在训练过程中将它添加到损失函数中，以实现L1正则化。例如： ```python model = MyModel() l1_reg = L1Regularization(penalty=0.001) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.01) for inputs, labels in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) + l1_reg(model) loss.backward() optimizer.step() ``` 在这个示例代码中，我们首先创建了一个MyModel类的实例。然后，我们创建了一个L1Regularization类的实例，并将penalty参数设置为0.001。接着，我们定义了一个交叉熵损失函数和一个随机梯度下降优化器。在每次训练迭代中，我们首先将优化器的梯度清零，然后计算模型的输出和损失。我们将正则化损失和交叉熵损失相加，并调用backward方法计算梯度。最后，我们使用优化器更新模型的参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值