近端梯度下降

已于 2024-03-15 10:13:03 修改
阅读量387 收藏 11
点赞数 7
文章标签： 机器学习 人工智能
于 2024-03-15 10:12:44 首次发布
-
本文链接：https://blog.csdn.net/nameofcsdn/article/details/136731963
版权

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家：点击跳转

目录

1，求解目标

2，近端映射

3，近端梯度下降

4，实例

（1）常规梯度下降

（2）投影梯度下降

5，近端映射函数性质

（1）分量组合

（2）线性变换

（3）t变换

（4）四则运算

（5）共轭函数的近端映射函数

（6）省略写法说明

6，近端映射函数计算实例

1，求解目标

g 是凸函数，可微。
ℎ 是凸函数，未必可微。

我的理解：不是所有f都适用这个方法，h实际上只能取一些常见的简单的函数。

2，近端映射

3，近端梯度下降

4，实例

（1）常规梯度下降

结果就是常规梯度下降。

（2）投影梯度下降

5，近端映射函数性质

（1）分量组合

性质一：

 

（2）线性变换

性质二：

f(x)=g(ax+b)\rightarrow prox_{t,f}(x)=\frac{1}{a}(prox_{ta^2,g}(ax+b)-b)

 

性质三：

f(x)=ag(x)+b\rightarrow prox_{t,f}(x)=prox_{ta,g}(x)

PS：这里的a是标量

（3）t变换

根据性质三，取b=0可得性质四：

prox_{t,ag}(x)=prox_{ta,g}(x)

（4）四则运算

性质五：

f(x)=g(x)+a^Tx\rightarrow prox_{t,f}(x)=prox_{t,g}(x-ta)

例如，g(x)=x^2，f(x)=g(x)+x，a=1，t=2

那么，prox g (x) = x/5,  prox f (x) = (x-2)/5

性质六：

PS：这里的a是向量

（5）共轭函数的近端映射函数

g(y)=af(y)\rightarrow prox_{g^*}(y)=a \, prox_{a^{-1}f^*}(a^{-1}y)

推导：

 

（6）省略写法说明

省略方式一

由于t变换的优美：prox_{t,ag}(x)=prox_{ta,g}(x)

很多时候prox_{t,ag}(x)就简写成prox_{ag}(x)

如：prox_{g^*}(y)=a \, prox_{a^{-1}f^*}(a^{-1}y)

其实是prox_{t,g^*}(y)=a \, prox_{t,a^{-1}f^*}(a^{-1}y)=a \, prox_{t/a,f^*}(a^{-1}y)

省略方式二

而有时我们又用prox_{tg}(x)表示prox_{1,tg}(x)=prox_{t,g}(x)

这是2种截然不同的省略约定，在这个基础上去理解公式就没啥问题了。

6，近端映射函数计算实例

上面2个例子给出了2个很特殊的函数的近端映射函数，这里展开讲讲更多的例子。

（1）L1范数

f(x)=||x||_1\\prox_{tf}(x)=sign(x)max(|x|-t,0)

`sign`函数是一个数学和计算机科学中常用的函数，用于确定数字的符号。具体来说，如果数字大于0，则`sign`函数返回1；如果数字等于0，则返回0；如果数字小于0，则返回-1。

 （2）L2范数

 

（3）  二次函数

（4）分量对数求和函数

csuzhucong
关注
  • 7
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Proximal gradient method
07-24
Proximal gradient method ， Algorithms for large-scale convex optimization EE227A 18节
梯度下降简单实现-Matlab版
03-27
梯度下降的简单实现，matlab版 包含源代码、训练集、测试集。
nn-bundle：多层感知器和三个优化器的实现：带有NAG的随机梯度下降，标准近端捆绑方法和带有上部模型的增量捆绑方法
02-18
nn束 多层感知器和三个优化器的实现：具有NAG的随机梯度下降，具有标准标准近邻束方法和 安装 首先，您需要克隆此存储库： $ git clone https://github.com/vdecaro/nn-bundle $ cd nn-bundle 使用此存储库需要安装conda 。 需要使用python3.7的新环境： $ conda create -n yourenvname python=3.7 $ conda activate yourenvname 下一步是包括将Gurobi安装到您的环境中的渠道： $ conda config --add channels http://conda.anaconda.org/gurobi 现在，您只需启动以下命令即可将所需的软件包安装到您的环境中： $ conda install --file requirements.txt
基于Matlab实现梯度下降法的RBF神经网络控制（源码）.rar
01-24
1、资源内容：基于Matlab实现梯度下降法的RBF神经网络控制（源码）.rar 2、适用人群：计算机，电子信息工程、数学等专业的学习者，作为“参考资料”参考学习使用。 3、解压说明：本资源需要电脑端使用WinRAR、7zip等解压工具进行解压，没有解压工具的自行百度下载即可。 4、免责声明：本资源作为“参考资料”而不是“定制需求”，代码只能作为参考，不能完全复制照搬。不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试代码并解决报错，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。
订单分批matlab代码-Neural-PGD:该代码实现了https://arxiv.org/abs/1806.03963中提出的神经近端梯
05-28
订单分批matlab代码神经PGD 该代码实现了中提出的神经近端梯度下降（PGD）算法。 想法是展开近端梯度下降算法，并使用神经网络对近端进行建模。 采用残差网络（ResNet）作为近端，实现递归神经网络（RNN）学习近端。 该代码可以灵活地结合各种培训成本，包括：1）逐像素l1 / l2、2）SSIM和3）对抗性GAN，LSGAN和WGAN。 命令行 python3 npgd_main.py -火车--dataset_train /路径/到/火车/数据集--dataset_test /路径/到/测试/数据集--sampling_pattern /路径/到/采样/轨迹/.matfile --sample_size_x 320 --sample_size_y 256 --batch_size 2 --summary_period 20000 --subsample_test 1000 --subsample_train 1000 --train_time 3000 --train_dir /路径/到/保存/结果--checkpoint_dir /路径/到/保存/检查点--tensorbo
近端梯度下降法 (proximal gradient descent)
B417科研笔记
11-09 2326
本文参考了知乎的文章 机器学习 | 近端梯度下降法 (proximal gradient descent)， 写的非常棒，但感觉有些微的赘余， 因此以这篇博客，希望更精简地介绍 近端梯度下降法 这种略显陌生的 算法。 对于传统的可微的目标函数， 直接使用梯度下降法即可。 而对于不可微的情况下， 就是 近端梯度法 表现的时机了。 简而言之， 目标函数必可写成如下的形式： f(x)=g(x)+h(x) f(x)=g(x)+h(x) f(x)=g(x)+h(x) 其中 g(x)g(x)g(x) 可微， 而 h(
近端梯度下降算法(Proximal Gradient Algorithm)
热门推荐
Ten_yn的博客
07-15 2万+
摘要：介绍梯度下降算法，以及在$f(x)$的梯度$\bigtriangledown f(x)$满足L-Lipschitz条件下的梯度下降算法的意义，并由此展开的非光滑约束下的近端梯度下降算法，求解$\min_x f^s(x)+f^n(x)$问题.
【优化】近端梯度下降（Proximal Gradient Descent）求解Lasso线性回归问题
敲代码的quant的博客
04-28 7524
近端梯度下降 近端梯度下降（Proximal Gradient Descent, PGD）是众多梯度下降算法中的一种，与传统的梯度下降算法以及随机梯度下降算法相比，近端梯度下降算法的使用范围相对狭窄，对于凸优化问题，PGD常用与目标函数中包含不可微分项时，如L1L1L1范数、迹范数或者全变正则项等。 常见线性回归问题 很多优化问题都可以转换为线性回归问题，假设线性回归的表达式是y=Xwy = Xw...
关于近端梯度下降法你不知道的事
lyy的博客
05-26 1607
目录介绍梯度下降法回顾近端梯度下降法加速的近端梯度法 介绍 近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要想表达"（物理上的）接近"。与经典的梯度下降法和随机梯度下降法相比，近端梯度下降法的适用范围相对狭窄。对于凸优化问题，当其目标函数存在不可微部分（例如目标函数中有 [公式] -范数或迹范数）时，近端梯度下降法才会派上用
近端梯度下降法
z_h_a_n_g_h的博客
11-20 51
对凸优化问题，目标函数存在不可微部分时才使用（绝对值项，l1范数，迹范数），求解想法为对可微部分泰勒展开，求得下降方向作为初步更新方向，然后利用近端映射找到一个可以使不可微部分函数值最小且尽可能接近初步更新方向的新方向，作为迭代更新的方向。fxgxhx，其中gx为凸函数且可微，hx是不可微的凸函数X∈Rm×ny∈RmyXww∈Rn表示系数向量，则优化问题目标函数∣∣y−Xw∣∣22​λ∣∣w∣∣1​。
通过Matlab实现了各种算法来解决 LASSO 问题_代码_下载
06-06
各种算法来通过 Matlab 解决 LASSO 问题，包括： 投影梯度法，通过将原始问题重新表述为具有框约束的二次规划 原始问题的次梯度方法 平滑原始问题的梯度方法 平滑原始问题的快速梯度法 原始问题的近似梯度法 原始问题的快速近端梯度法 对偶问题的增强拉格朗日方法 对偶问题的乘法器交替方向法 原问题线性化乘法器的交替方向法 AdaGrad、Adam、RMSProp、使用次梯度的动量
关于Proximal Methods，近端梯度下降的理解
_realyin_的博客
12-10 1579
本文介绍了两种Proximal Methods的证明方法以及实现。内容主要来源于王然老师的《Proximal Methods》一文以及网络，加入了部分个人理解。由于水平有限，如有不妥之处，敬请指正。 为什么会有Proximal methods这个东东？ 在机器学习的损失函数求解过程中，通过计算梯度然后迭代寻找最小值是一个常用的方法。而对于一些函数，是无法求导的，这时就无法用梯度下降等方法求解了。比如加了L1L1L1正则的损失函数。 argminβ1N∗∑i(yi−xi∗βt)+λ∗∥β∥1\mathop{\
python实现次梯度(subgradient)和近端梯度下降法 (proximal gradient descent)方法求解L1正则化
fangfanglovezhou的博客
01-28 4421
l1范数最小化 考虑函数，显然其在零点不可微，其对应的的次微分为： 注意，的取值为一个区间。 两个重要定理： 1）一个凸函数，当且仅当，为全局最小值，即为最小值点； 2）为函数（不一定是凸函数）的最小值点，当且仅当在该点可次微分且。 考虑最简单的一种情况，目标函数为： 对应的次微分为： 进一步可以表示为： 故，若，最小值点为： 若，最小值点为： 若，最小值点为： 简而言之，最优解，通常被称为软阈值（soft threshold）算子。 subgradient...
近端策略优化理解记录
m0_65532100的博客
04-17 172
文章目录前言一、梯度下降？1 梯度2 梯度下降二、Proximal Policy Optimization （PPO）1.策略梯度2.Actor-Critic Model3 Import sampling3 PPO总结 前言 Proximal Policy Optimization（PPO）即近端策略优化，是Policy Graident的一种改进算法，属于Importce Sampling的方法，将Policy Gradient中On-policy的训练过程转化为Off-policy。 一、梯度下降？
L1范数优化之近端梯度下降法
Ezail的博客
04-15 4932
这里总结一下L1范数优化方法近端梯度下降法。由浅入深可以总结为三个层次： 第一层次：直接记住结论 第二层次：知道上面的proximal mamping的如何推导出结论的分段函数 介绍一下上面的prox映射 proximal映射是关于函数h的一个映射 第三层次：知道proximal mapping在这里代表什么，知道如何从目标函数展开泰勒公式，从而得到proximal mappin...
最优化方法 21：加速近似梯度下降方法
Glooow的博客
04-24 3363
我们证明了梯度方法最快的收敛速度只能是 O(1/k2)O(1/k^2)O(1/k2)（没有强凸假设的话），但是前面的方法最多只能达到 O(1/k)O(1/k)O(1/k) 的收敛速度，那么有没有方法能达到这一极限呢？有！这一节要讲的**加速近似梯度方法(APG)**就是。这个方法的构造非常的巧妙，证明过程中会发现每一项都恰到好处的抵消了！真不知道作者是怎么想出来这么巧妙地方法，各位可以看看证明过程...
近端梯度下降proximal gradient descent
qccc_dm的博客
04-18 1万+
在loss function中引入L1正则项时，会遇到L1正则项的求导问题： 更一般的表达形式：min f(x) + g(x) f(x):convex & smooth g(x):convex but not smooth 如L1范数就是不光滑的，L1范数的二维曲线可以表示成： 可以看到L1范数在x=0处是不可导的，为了解决这个问题，需要用到近端梯度求解，proximal
近端梯度算法和近端梯度下降
最新发布
03-13
近端梯度算法（Proximal Gradient Algorithm）是一种用于求解凸优化问题的迭代算法。它结合了梯度下降和近端算子的思想，能够有效地处理带有约束或正则化项的优化问题。 在每一次迭代中，近端梯度算法首先计算当前点的梯度，然后根据梯度信息更新当前点的位置。与传统的梯度下降算法不同的是，近端梯度算法还会对更新后的位置进行近端投影或近端映射操作，以满足约束条件或实现正则化效果。 近端梯度下降（Proximal Gradient Descent）是近端梯度算法的一种特殊形式，它主要用于求解带有L1范数正则化项的优化问题。在每一次迭代中，近端梯度下降算法会先进行梯度计算，然后对当前点进行更新，并在更新后对结果进行L1范数的近端投影操作，以实现稀疏性。 总结来说，近端梯度算法是一种结合了梯度下降和近端算子的优化算法，可以用于求解带有约束或正则化项的优化问题。而近端梯度下降是其中一种特殊形式，主要用于求解带有L1范数正则化项的优化问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值