Lasso和Group Lasso的闭式解

最新推荐文章于 2023-02-21 18:57:58 发布
最新推荐文章于 2023-02-21 18:57:58 发布
阅读量1.9k 收藏 4
点赞数
分类专栏： 凸优化 文章标签： 深度学习 线性代数 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35155934/article/details/123356332
版权

优化目标
在这里插入图片描述
其中
在这里插入图片描述

求导，得到
在这里插入图片描述

其中
在这里插入图片描述

得到
在这里插入图片描述

对于在深度学习中group LASSO而言来压缩的时候，问题转换为求解：

[公式]

其中 [公式]是可学习参数，可以看做是一个向量。[公式] 是training loss， [公式]
是正则化项。

把 [公式]分为 [公式] 组，来做LASSO，有 [公式]
，也就是说对每一组内部使用[公式]norm，形成一个 [公式]元向量，然后再这 [公式]元向量使用 [公式]
norm。因为 [公式]norm肯定是大于等于零的了，所以外层不需要加绝对值了。

一般来说， [公式]是一个神经网络，属于严重非凸问题，可以用model function来近似，问题就转换为：

[公式]

[公式]

进而问题转换为求解
在这里插入图片描述

也即求解：

[公式]

这个问题可以把每个group分开来求解。变为求解

[公式]

求得 [公式],
if [公式], else 0

证明如下

下面证明一个定理
在这里插入图片描述

其证明过程在

在这里插入图片描述

再给一碗吧
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
宽带离网用户分析（5） Lasso和Group Lasso
InfSkyline的博客
08-05 5677
宽带离网用户分析之Lasso和Group LassoLasso　　Lasso，全称为(The Least Absolute Shrinkage and Selectionator operator)，是Tibshirani[1]在1996年提出的稀疏特征选择方法。 　　minβ||Y−Xβ||22+λ||β||1\min_{\beta}||Y-X\beta||_2^2+\lambda||\beta
聊聊group lasso
hestendelin的专栏
09-01 1万+
这次聊聊线性模型中的group lasso （lasso即为将模型中权重系数的一阶范数惩罚项加到目标函数中）惩罚项。假设Y是由N个样本的观测值构成的向量，X是一个大小为N...
matlab用ADMM算法解决Group Lasso问题
12-11
用ADMM算法解决Group Lasso问题的matlab实现，包含测试用的例子。
Lasso 稀疏约束 + Group Lasso 分组最小角回归算法
小鹅鹅的博客
10-31 3万+
背景 Lasso（least absolute shrinkage and selection operator，又译最小绝对值收敛和选择算子、套索算法）是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性. Lasso 稀疏约束 + Group Lasso 分组最小角回归算法
Group Lasso
weixin_30547797的博客
10-14 837
Mark 转载于:https://www.cnblogs.com/mengmengmiaomiao/p/7666327.html
使用ADMM解决group_lasso.rar
03-31
《使用ADMM解决组稀疏问题：以group_lasso在MATLAB中的实现为例》 在机器学习和统计建模领域，优化问题的求解至关重要。一种常用的优化算法是交替方向乘子法（Alternating Direction Method of Multipliers，简称...
A note on the group lasso and a sparse group lasso
06-27
A note on the group lasso and a sparse group lasso
group lasso
10-17
lasso regerssion classification and beiyesian network
一种面向高维数据的迭代式Lasso特征选择方法
02-21
为解决此问题,提出一种改进的Lasso方法:迭代式Lasso方法。迭代式Lasso方法首先将特征集分成K份,对第一份特征子集进行特征提取,将所得特征加入第二份,再对第二份特征进行特征提取;然后将所得特征加入第三份,依次迭代...
group-lasso:遵循scikit-learn API的组套索实现
05-23
组套索 组套索正则化器是一种在机器学习和统计中实现结构化稀疏性的众所周知的方法。 这个想法是创建协变量的非重叠组，并恢复其中只有这些协变量组的稀疏集合具有非零分量的回归权重。 有几个原因说明为什么这可能是一个好主意。 例如，假设我们有一组传感器，并且这些传感器中的每一个都会生成五个测量值。 我们不想保留不必要的传感器数量。 如果我们尝试正常的LASSO回归，那么我们将获得稀疏分量。 但是，这些稀疏分量可能不对应于一组稀疏传感器，因为它们各自生成五个测量值。 如果我们改为使用LASSO组，并将测量结果按被测量的传感器分组，那么我们将获得一组稀疏的传感器。 组套索正则化器的扩展是稀疏组套索正则化器 ，它强加了按组稀疏性和按系数稀疏性。 这是通过将组套索罚分与传统套索罚分相结合来完成的。 在该库中，我实现了一个完全兼容scikit-learn API的高效稀疏组套索求解器。 关于这个项目
lasso变形(一)----group lasso
宁静致远
01-26 3万+
一、引言　　在现实生活中，协变量之间存在一些组结构，那么在进行变量选择时都应该同时选入模型中。 　　例1：在分类数据中，我们通常处理方式是将其变成哑变量。如地域：江苏、浙江、上海。这时需要设置2个哑变量（n-1，n=3)。“地域（1）”=1，浙江；0，非浙江。“地域（2”）=1，上海；0，非上海。从而得到： 江苏= 0 ，0； 浙江 =1， 0； 上海 =0 ，1。 在变量选择时候，
【机器学习】一文读懂正则化与LASSO回归，Ridge回归
热门推荐
齐在的专栏
10-10 7万+
该文已经收录到专题机器学习进阶之路当中，欢迎大家关注。 1.过拟合 当样本特征很多，样本数相对较少时，模型容易陷入过拟合。为了缓解过拟合问题，有两种方法： 方法一：减少特征数量（人工选择重要特征来保留，会丢弃部分信息）。 方法二：正则化（减少特征参数的数量级）。 2.正则化（Regularization） 正则化是结构风险（损失函数+正则化项）最小化策略的体...
关于Lasso与Lasso深入理解
Martin Jiang的专栏
12-05 4353
人生还是要优点追求，自己应该掌握的，都躲不过去的！ 在做深度学习剪裁的时候，一个问题绕不过去，就是：L1-norm，L2-norm，Lasso，Group Lasso，LARS，Group LARS的概念、原因、关系及使用。在逐步的学习中，主要依赖于这几个论文LARShttps://cosx.org/2011/04/an-introduction-to-lars/ 及https://cosx.o...
机器学习之LASSO，岭回归
weixin_45400340的博客
01-05 668
回归算法 文章参考 1.线性回归 假设有数据有 其中： 其中m为训练集样本数，n为样本维度，y是样本的真实值。线性回归采用一个多维的线性函数来尽可能的拟合所有的数据点，最简单的想法就是最小化函数值与真实值误差的平方（概率解释-高斯分布加最大似然估计）即有如下目标函数： 其中线性函数： 构建好线性回归模型的目标函数之后，接下来就是求解目标函数的最优解，即一个优化问题。常用的梯度优化方法都可以拿来用，这里以梯度下降法来求解目标函数。 另外，线性回归也可以从最小二乘法的角度来看，下面先将样本表示向量化 构
AI算法Python实现：Sparse Group Lasso
daishabby2486的博客
02-21 1346
Sparse Group Lasso的Python实现
L0、L1、L2、group lasso、trace LASSO范数
m0_49673695的博客
03-12 3639
范数 机器学习模型中，常加入惩罚项（结构风险），防止过拟合。 L0范数 L0范数指向量中非零元素的个数，直观上来说使用L0范数即想让模型参数为零的元素尽可能的多，或者说是为了参数稀疏。但是L0范数很难求导或者优化。 L1范数 L1范数指向量中各个元素的绝对值之和，也称“稀疏规则算子”，使用率较高，是L0范数的最优凸近似。 补充： 任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。L1范数即符合。 L2范数 L2范数是向量中各个元素的平方的和，
r语言group lasso适用于什么样的数据
weixin_35755188的博客
01-04 373
group lasso是一种正则化算法，它可以在保留模型的预测能力的同时进行变量选择。group lasso通常适用于有大量变量且存在变量组之间关联的数据。例如，假设你正在研究一个城市的房屋价格，你可能会收集到房屋的各种特征，如面积、卧室数、地段等。在这种情况下，地段可能包含若干子变量，如城市中心、近学校、近公园等。这些子变量之间可能存在联系，group lasso可以帮助你找出哪些变量对于预测房...
r语言如何限制group lasso不要运行过久
weixin_42610671的博客
01-04 64
在使用 group lasso 时，可以设置超时时间来限制其运行时间。例如，可以使用 setTimeLimit() 函数来设置超时时间。另外，也可以使用 caret 包中的 train() 函数，其中包含了一个 max_runtime_secs 参数，用于限制训练时间。 此外，也可以使用自适应的正则化方法，例如 FISTA 算法，来替代 group lasso。这些方法可以自动调整正则化系数，从而...
group lasso求解
最新发布
08-15
Group Lasso是一种用于特征选择的统计学方法，它在线性回归模型中结合了L1范数和L2范数的惩罚项。在机器学习和统计分析中，特征选择是一个非常重要的问题，它能够帮助我们从复杂的数据集中选取出最具有预测性和解释性的特征子集。 Group Lasso方法的核心思想是将特征分组，对每个特征组内使用L2范数进行惩罚，并对所有特征组的L2范数求和。这样做的优点是能够同时保留特征组内的相关性，从而更好地应对高维数据的挑战。而L1范数惩罚项则用于产生稀疏解，即将部分特征的系数缩小为零，有效减少模型的复杂度。 Group Lasso方法的求解可以通过优化算法来实现，常用的有坐标下降法、迭代重加权最小二乘法（IRWLS）、交替方向乘子法（ADM）等。其中，坐标下降法是一种迭代算法，每次优化一个系数，其他系数固定不变。而IRWLS和ADM则是通过迭代步骤分别优化模型的系数和增加松弛变量的大小，直到收敛为止。 总之，Group Lasso是一种用于特征选择的经典方法，它通过结合L1和L2范数的惩罚项，能够同时保留特征组的相关性并产生稀疏解。通过适当的优化算法，可以高效地实现Group Lasso的求解，从而提高模型的预测性和解释性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值