近端梯度下降proximal gradient descent

最新推荐文章于 2024-03-15 10:12:44 发布
最新推荐文章于 2024-03-15 10:12:44 发布
阅读量1w 收藏 11
点赞数 3
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qccc_dm/article/details/70232616
版权

在loss function中引入L1正则项时，会遇到L1正则项的求导问题：

更一般的表达形式：min f(x) + g(x)


f(x):convex & smooth

g(x):convex but not smooth

如L1范数就是不光滑的，L1范数的二维曲线可以表示成：

可以看到L1范数在x=0处是不可导的，为了解决这个问题，需要用到近端梯度求解，proximal gradient descent.

用f star 去近似f(x)，这样使得原问题就会有解析解



qccc_dm
关注
  • 3
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
gradient descent 梯度下降算法
Kenney Qin 的专栏
09-25 1万+
今天给大家介绍一个m
近端梯度下降法 (proximal gradient descent)
B417科研笔记
11-09 2454
本文参考了知乎的文章 机器学习 | 近端梯度下降法 (proximal gradient descent)， 写的非常棒，但感觉有些微的赘余， 因此以这篇博客，希望更精简地介绍 近端梯度下降法 这种略显陌生的 算法。 对于传统的可微的目标函数， 直接使用梯度下降法即可。 而对于不可微的情况下， 就是 近端梯度法 表现的时机了。 简而言之， 目标函数必可写成如下的形式： f(x)=g(x)+h(x) f(x)=g(x)+h(x) f(x)=g(x)+h(x) 其中 g(x)g(x)g(x) 可微， 而 h(
近端梯度下降算法(Proximal Gradient Algorithm)
热门推荐
Ten_yn的博客
07-15 2万+
摘要：介绍梯度下降算法，以及在$f(x)$的梯度$\bigtriangledown f(x)$满足L-Lipschitz条件下的梯度下降算法的意义，并由此展开的非光滑约束下的近端梯度下降算法，求解$\min_x f^s(x)+f^n(x)$问题.
【优化】近端梯度下降（Proximal Gradient Descent）求解Lasso线性回归问题
敲代码的quant的博客
04-28 7979
近端梯度下降 近端梯度下降（Proximal Gradient Descent, PGD）是众多梯度下降算法中的一种，与传统的梯度下降算法以及随机梯度下降算法相比，近端梯度下降算法的使用范围相对狭窄，对于凸优化问题，PGD常用与目标函数中包含不可微分项时，如L1L1L1范数、迹范数或者全变正则项等。 常见线性回归问题 很多优化问题都可以转换为线性回归问题，假设线性回归的表达式是y=Xwy = Xw...
近端梯度下降
最新发布
nameofcsdn的博客
03-15 514
。。。
关于近端梯度下降法你不知道的事
lyy的博客
05-26 1735
目录介绍梯度下降法回顾近端梯度下降法加速的近端梯度法 介绍 近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要想表达"（物理上的）接近"。与经典的梯度下降法和随机梯度下降法相比，近端梯度下降法的适用范围相对狭窄。对于凸优化问题，当其目标函数存在不可微部分（例如目标函数中有 [公式] -范数或迹范数）时，近端梯度下降法才会派上用
MATLAB实现梯度下降算法(gradient descent)，案例丰富【数学建模、科学计算算法】.zip
04-24
梯度下降算法是一种在数值优化领域广泛使用的迭代方法，用于寻找函数的局部最小值。它在机器学习和深度学习中尤为关键，因为许多模型（如线性回归、逻辑回归、神经网络）的参数优化问题可以通过梯度下降来解决。...
梯度下降法介绍及利用Python实现的方法示例
09-21
梯度下降算法是一个很基本的算法，在机器学习和优化中有着非常重要的作用，下面这篇文章主要给大家介绍了关于利用Python实现梯度下降法的相关资料，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
稀疏编码公式推导：LASSO，ISTA，近端梯度优化，软阈值
10-15
在这个过程中，LASSO（Least Absolute Shrinkage and Selection Operator）回归、近端梯度优化（Proximal Gradient Descent, PGD）、迭代软阈值算法（Iterative Soft Thresholding Algorithm, ISTA）以及L-Lipschitz...
2016-J神-Mini-Batch Semi-Stochastic Gradient Descent in the Proxi
08-03
然而，全梯度下降（Batch Gradient Descent）在大数据集上效率较低，因为它需要计算所有样本的梯度，而随机梯度下降（Stochastic Gradient Descent, SGD）虽然快，但可能会因样本的随机性导致收敛不稳。 Semi-...
Proximal gradient method
07-24
Proximal gradient method ， Algorithms for large-scale convex optimization EE227A 18节
随机梯度下降算法研究进展.docx
02-23
为此，研究者们相继提出了一系列基于方差缩减的随机梯度下降算法，主要包括随机方差缩减梯度算法（Stochastic variance reduced gradient, SVRG）、近端随机方差缩减梯度算法（Proximal stochastic variance ...
近端梯度下降法
z_h_a_n_g_h的博客
11-20 103
对凸优化问题，目标函数存在不可微部分时才使用（绝对值项，l1范数，迹范数），求解想法为对可微部分泰勒展开，求得下降方向作为初步更新方向，然后利用近端映射找到一个可以使不可微部分函数值最小且尽可能接近初步更新方向的新方向，作为迭代更新的方向。fxgxhx，其中gx为凸函数且可微，hx是不可微的凸函数X∈Rm×ny∈RmyXww∈Rn表示系数向量，则优化问题目标函数∣∣y−Xw∣∣22​λ∣∣w∣∣1​。
关于Proximal Methods，近端梯度下降的理解
_realyin_的博客
12-10 1664
本文介绍了两种Proximal Methods的证明方法以及实现。内容主要来源于王然老师的《Proximal Methods》一文以及网络，加入了部分个人理解。由于水平有限，如有不妥之处，敬请指正。 为什么会有Proximal methods这个东东？ 在机器学习的损失函数求解过程中，通过计算梯度然后迭代寻找最小值是一个常用的方法。而对于一些函数，是无法求导的，这时就无法用梯度下降等方法求解了。比如加了L1L1L1正则的损失函数。 argminβ1N∗∑i(yi−xi∗βt)+λ∗∥β∥1\mathop{\
L1范数优化之近端梯度下降法
Ezail的博客
04-15 5001
这里总结一下L1范数优化方法近端梯度下降法。由浅入深可以总结为三个层次： 第一层次：直接记住结论 第二层次：知道上面的proximal mamping的如何推导出结论的分段函数 介绍一下上面的prox映射 proximal映射是关于函数h的一个映射 第三层次：知道proximal mapping在这里代表什么，知道如何从目标函数展开泰勒公式，从而得到proximal mappin...
LASSO近端梯度下降法Proximal Gradient Descent公式推导及代码
DS_agent的博客
05-25 6249
文章目录LASSO by Proximal Gradient DescentProximal Gradient Descent FrameworkProximal Gradient Descent DetailsSimplified Code LASSO by Proximal Gradient Descent Proximal Gradient Descent Framework randomly set β(0)\beta^{(0)}β(0) for iteration 0 For kkkth ite
近端梯度下降法 (proximal gradient descent)算法python实现完整版
fangfanglovezhou的博客
04-06 3547
# -*- coding: utf-8 -*- import numpy as np import scipy as spy from scipy.sparse import csc_matrix import matplotlib.pyplot as plt import time #用来计算运行时间 #=======模拟数据====================== m = 512 n = 10
APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (一)
等待戈多的博客
10-18 4705
近期在阅读Data-Driven Sparse Structure Selection for Deep Neural Networks论文时，用到里面APG-NAG相关优化器的知识，原论文方法采用mxnet去实现的，在这里想迁移到pytorch中。因此手撕一下APG和NAG相关的知识。
proximal gradient descent代码
07-15
以下是一个简单的近端梯度下降法的代码示例： ```python import numpy as np def proximal_gradient_descent(x0, f, grad_f, prox, step_size, max_iters): """ 近端梯度下降法 参数： x0：初始点 f：目标函数 grad_f：梯度函数 prox：近端算子 step_size：学习率（步长） max_iters：最大迭代次数 返回： x：最优解 """ x = x0 for i in range(max_iters): grad = grad_f(x) x_new = prox(x - step_size * grad, step_size) # 更新x的近端点 if np.linalg.norm(x_new - x) < 1e-6: # 检查收敛条件 break x = x_new return x ``` 使用时，需要自定义目标函数 `f`、梯度函数 `grad_f` 和近端算子 `prox`。然后可以传入初始点 `x0`、学习率 `step_size` 和最大迭代次数 `max_iters` 进行近端梯度下降。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值