Proximal Gradient Method近端梯度算法

最新推荐文章于 2024-02-15 22:10:22 发布
最新推荐文章于 2024-02-15 22:10:22 发布
阅读量3.5k 收藏 11
点赞数 1
分类专栏： 机器学习与图像处理 文章标签： 近邻优化

本文参考文献附在最后。是对参考文献的理解。 
1：此算法解决凸优化问题模型如下：

minF(x)=g(x)+h(x)
其中 g(x) 凸的，可微的。 h(x)  闭的凸的。其中 g(x),h(x)是由F(x)  分离出来的两项，当 F(x)  分离的结果不同，即使是同一个问题，算法的实现方式也不尽相同， 
2 ：算法的实现 
1)对于凸函数 h(x) 的proximal map如下：
proxh(x)=argminu(h(u)+1/2||u−x||22)

当 h(x)=0 ,则 proxh(x)=argminu(1/2||u−x||22)=x ; 
当 h(x)=Ic ，则 proxh(x)=argminu∈c(1/2||u−x||22)=Pc(x) ； 
当 h(x)=t||X||1 ，则 proxh(x)  为软阈值算法。 
2)对于凸优化模型，则有
xk=proxtkh(xk−1−tk∇g(xk−1))
也即是 xk=argminu(h(u)+1/2tk||u−xk−1−tk∇g(xk−1||22)
=argminu(h(u)+g(xk+1)+∇g(xk−1)(u−xk−1)+1/2tk||u−xk−1||22)
在第二步运算过程中，分别加了一项和减去一项仅和 x  有关的项。 
由上式可以看出， h(x) 函数不变， g(x) 变为在 x  的二阶近似。 
同样的有如下特例： 
这里写图片描述

3)近端梯度法的算法： 
这里写图片描述

3：总结 
这里写图片描述

此代码参考下面参考文献提供的代码，此为固定步长的近端梯度算法，经过简单修改：把while那一块取消注释即为线性搜索确定步长。 
其中先搜索确定步长的算法如下： 
这里写图片描述

<code class="hljs matlab has-numbering" style="display: block; padding: 0px; color: inherit; box-sizing: border-box; font-family: 'Source Code Pro', monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal; background: transparent;"><span class="hljs-function" style="box-sizing: border-box;"><span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">function</span> <span class="hljs-params" style="color: rgb(102, 0, 102); box-sizing: border-box;">[x]</span>=<span class="hljs-title" style="box-sizing: border-box;">proximalGradient</span><span class="hljs-params" style="color: rgb(102, 0, 102); box-sizing: border-box;">(A,b,gamma)</span></span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%%解决  1/2||AX-b||2_{2}+gamma*||X||1</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%% A:m*n   X:n*1</span>
MAX_ITER =<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">400</span>;
ABSTOL   = <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1e-4</span>;
RELTOL   = <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1e-2</span>;

f = @(u) <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.5</span>*norm(A*u-b)^<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">2</span>;<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%%为了确定线搜索步长</span>
lambda = <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>;
<span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">beta</span> = <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.5</span>;
<span class="hljs-matrix" style="box-sizing: border-box;">[~,n]</span>=<span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">size</span>(A);
x = <span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">zeros</span>(n,<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>);
xprev = x;
AtA = <span class="hljs-transposed_variable" style="box-sizing: border-box;">A'</span>*A;
Atb = <span class="hljs-transposed_variable" style="box-sizing: border-box;">A'</span>*b;
<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">for</span> k = <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>:MAX_ITER
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%     while 1</span>
        grad_x = AtA*x - Atb;
        z = soft_threshold(x - lambda*grad_x, lambda*<span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">gamma</span>);<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%%迭代更新x</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%         if f(z) <= f(x) + grad_x'*(z - x) + (1/(2*lambda))*(norm(z - x))^2</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%             break;</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%         end</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">%         lambda = beta*lambda;</span>
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">end</span>
    xprev = x;
    x = z;

    <span class="hljs-transposed_variable" style="box-sizing: border-box;">h.</span>prox_optval(k) = objective(A, b, <span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">gamma</span>, x, x);
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">if</span> k > <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span> && <span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">abs</span>(<span class="hljs-transposed_variable" style="box-sizing: border-box;">h.</span>prox_optval(k) - <span class="hljs-transposed_variable" style="box-sizing: border-box;">h.</span>prox_optval(k-<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>)) < ABSTOL
        <span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">break</span>;
    <span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">end</span>
<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">end</span>

<span class="hljs-transposed_variable" style="box-sizing: border-box;">h.</span>x_prox = x;
<span class="hljs-transposed_variable" style="box-sizing: border-box;">h.</span>p_prox = <span class="hljs-transposed_variable" style="box-sizing: border-box;">h.</span>prox_optval(<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">end</span>);

<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% h.prox_grad_toc = toc;</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% </span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% fprintf('Proximal gradient time elapsed: %.2f seconds.\n', h.prox_grad_toc);</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% h.prox_iter = length(h.prox_optval);</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% K = h.prox_iter;</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% h.prox_optval = padarray(h.prox_optval', K-h.prox_iter, h.p_prox, 'post');</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% </span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% plot( 1:K, h.prox_optval, 'r-');</span>
<span class="hljs-comment" style="color: rgb(136, 0, 0); box-sizing: border-box;">% xlim([0 75]);</span>


<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">end</span>

<span class="hljs-function" style="box-sizing: border-box;"><span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">function</span> <span class="hljs-title" style="box-sizing: border-box;">p</span> = <span class="hljs-title" style="box-sizing: border-box;">objective</span><span class="hljs-params" style="color: rgb(102, 0, 102); box-sizing: border-box;">(A, b, gamma, x, z)</span></span>
  p = <span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0.5</span>*(norm(A*x - b))^<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">2</span> + <span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">gamma</span>*norm(z,<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">1</span>);
<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">end</span>

<span class="hljs-function" style="box-sizing: border-box;"><span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">function</span> <span class="hljs-params" style="color: rgb(102, 0, 102); box-sizing: border-box;">[X]</span>=<span class="hljs-title" style="box-sizing: border-box;">soft_threshold</span><span class="hljs-params" style="color: rgb(102, 0, 102); box-sizing: border-box;">(b,lambda)</span></span>
  X=<span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">sign</span>(b).*max(<span class="hljs-built_in" style="color: rgb(102, 0, 102); box-sizing: border-box;">abs</span>(b) - lambda,<span class="hljs-number" style="color: rgb(0, 102, 102); box-sizing: border-box;">0</span>);
<span class="hljs-keyword" style="color: rgb(0, 0, 136); box-sizing: border-box;">end</span></code><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li><li style="box-sizing: border-box; padding: 0px 5px;">18</li><li style="box-sizing: border-box; padding: 0px 5px;">19</li><li style="box-sizing: border-box; padding: 0px 5px;">20</li><li style="box-sizing: border-box; padding: 0px 5px;">21</li><li style="box-sizing: border-box; padding: 0px 5px;">22</li><li style="box-sizing: border-box; padding: 0px 5px;">23</li><li style="box-sizing: border-box; padding: 0px 5px;">24</li><li style="box-sizing: border-box; padding: 0px 5px;">25</li><li style="box-sizing: border-box; padding: 0px 5px;">26</li><li style="box-sizing: border-box; padding: 0px 5px;">27</li><li style="box-sizing: border-box; padding: 0px 5px;">28</li><li style="box-sizing: border-box; padding: 0px 5px;">29</li><li style="box-sizing: border-box; padding: 0px 5px;">30</li><li style="box-sizing: border-box; padding: 0px 5px;">31</li><li style="box-sizing: border-box; padding: 0px 5px;">32</li><li style="box-sizing: border-box; padding: 0px 5px;">33</li><li style="box-sizing: border-box; padding: 0px 5px;">34</li><li style="box-sizing: border-box; padding: 0px 5px;">35</li><li style="box-sizing: border-box; padding: 0px 5px;">36</li><li style="box-sizing: border-box; padding: 0px 5px;">37</li><li style="box-sizing: border-box; padding: 0px 5px;">38</li><li style="box-sizing: border-box; padding: 0px 5px;">39</li><li style="box-sizing: border-box; padding: 0px 5px;">40</li><li style="box-sizing: border-box; padding: 0px 5px;">41</li><li style="box-sizing: border-box; padding: 0px 5px;">42</li><li style="box-sizing: border-box; padding: 0px 5px;">43</li><li style="box-sizing: border-box; padding: 0px 5px;">44</li><li style="box-sizing: border-box; padding: 0px 5px;">45</li><li style="box-sizing: border-box; padding: 0px 5px;">46</li><li style="box-sizing: border-box; padding: 0px 5px;">47</li><li style="box-sizing: border-box; padding: 0px 5px;">48</li><li style="box-sizing: border-box; padding: 0px 5px;">49</li><li style="box-sizing: border-box; padding: 0px 5px;">50</li><li style="box-sizing: border-box; padding: 0px 5px;">51</li><li style="box-sizing: border-box; padding: 0px 5px;">52</li><li style="box-sizing: border-box; padding: 0px 5px;">53</li><li style="box-sizing: border-box; padding: 0px 5px;">54</li><li style="box-sizing: border-box; padding: 0px 5px;">55</li><li style="box-sizing: border-box; padding: 0px 5px;">56</li></ul><ul class="pre-numbering" style="box-sizing: border-box; position: absolute; width: 50px; top: 0px; left: 0px; margin: 0px; padding: 6px 0px 40px; border-right-width: 1px; border-right-style: solid; border-right-color: rgb(221, 221, 221); list-style: none; text-align: right; background-color: rgb(238, 238, 238);"><li style="box-sizing: border-box; padding: 0px 5px;">1</li><li style="box-sizing: border-box; padding: 0px 5px;">2</li><li style="box-sizing: border-box; padding: 0px 5px;">3</li><li style="box-sizing: border-box; padding: 0px 5px;">4</li><li style="box-sizing: border-box; padding: 0px 5px;">5</li><li style="box-sizing: border-box; padding: 0px 5px;">6</li><li style="box-sizing: border-box; padding: 0px 5px;">7</li><li style="box-sizing: border-box; padding: 0px 5px;">8</li><li style="box-sizing: border-box; padding: 0px 5px;">9</li><li style="box-sizing: border-box; padding: 0px 5px;">10</li><li style="box-sizing: border-box; padding: 0px 5px;">11</li><li style="box-sizing: border-box; padding: 0px 5px;">12</li><li style="box-sizing: border-box; padding: 0px 5px;">13</li><li style="box-sizing: border-box; padding: 0px 5px;">14</li><li style="box-sizing: border-box; padding: 0px 5px;">15</li><li style="box-sizing: border-box; padding: 0px 5px;">16</li><li style="box-sizing: border-box; padding: 0px 5px;">17</li><li style="box-sizing: border-box; padding: 0px 5px;">18</li><li style="box-sizing: border-box; padding: 0px 5px;">19</li><li style="box-sizing: border-box; padding: 0px 5px;">20</li><li style="box-sizing: border-box; padding: 0px 5px;">21</li><li style="box-sizing: border-box; padding: 0px 5px;">22</li><li style="box-sizing: border-box; padding: 0px 5px;">23</li><li style="box-sizing: border-box; padding: 0px 5px;">24</li><li style="box-sizing: border-box; padding: 0px 5px;">25</li><li style="box-sizing: border-box; padding: 0px 5px;">26</li><li style="box-sizing: border-box; padding: 0px 5px;">27</li><li style="box-sizing: border-box; padding: 0px 5px;">28</li><li style="box-sizing: border-box; padding: 0px 5px;">29</li><li style="box-sizing: border-box; padding: 0px 5px;">30</li><li style="box-sizing: border-box; padding: 0px 5px;">31</li><li style="box-sizing: border-box; padding: 0px 5px;">32</li><li style="box-sizing: border-box; padding: 0px 5px;">33</li><li style="box-sizing: border-box; padding: 0px 5px;">34</li><li style="box-sizing: border-box; padding: 0px 5px;">35</li><li style="box-sizing: border-box; padding: 0px 5px;">36</li><li style="box-sizing: border-box; padding: 0px 5px;">37</li><li style="box-sizing: border-box; padding: 0px 5px;">38</li><li style="box-sizing: border-box; padding: 0px 5px;">39</li><li style="box-sizing: border-box; padding: 0px 5px;">40</li><li style="box-sizing: border-box; padding: 0px 5px;">41</li><li style="box-sizing: border-box; padding: 0px 5px;">42</li><li style="box-sizing: border-box; padding: 0px 5px;">43</li><li style="box-sizing: border-box; padding: 0px 5px;">44</li><li style="box-sizing: border-box; padding: 0px 5px;">45</li><li style="box-sizing: border-box; padding: 0px 5px;">46</li><li style="box-sizing: border-box; padding: 0px 5px;">47</li><li style="box-sizing: border-box; padding: 0px 5px;">48</li><li style="box-sizing: border-box; padding: 0px 5px;">49</li><li style="box-sizing: border-box; padding: 0px 5px;">50</li><li style="box-sizing: border-box; padding: 0px 5px;">51</li><li style="box-sizing: border-box; padding: 0px 5px;">52</li><li style="box-sizing: border-box; padding: 0px 5px;">53</li><li style="box-sizing: border-box; padding: 0px 5px;">54</li><li style="box-sizing: border-box; padding: 0px 5px;">55</li><li style="box-sizing: border-box; padding: 0px 5px;">56</li></ul>

参考文献如下： 
Proximal gradient method近端梯度算法

三更灯火五更鸡
关注
专栏目录
近端梯度法(Proximal Gradient Method, PG)
Eason的博客
10-16 3万+
近端梯度法（Proximal Gradient Method ，PG）算法简介  近端梯度法是一种特殊的梯度下降方法，主要用于求解目标函数不可微的最优化问题。如果目标函数在某些点是不可微的，那么该点的梯度无法求解，传统的梯度下降法也就无法使用。PG算法的思想是，使用临近算子作为近似梯度，进行梯度下降。概念定义临近算子（proximity operator）proxf(x)=argminy∈Rnf(y
Proximal gradient method
07-24
Proximal gradient method ， Algorithms for large-scale convex optimization EE227A 18节
近端梯度法（proximal gradient method）
u012550992的博客
02-13 2388
模型 凸且光滑，即可微，凸且非光滑，即不可微，因此不能使用梯度下降法，因为在某点梯度会不存在，比如. 近端梯度法常用于解上述优化问题. 近端梯度法 1、因为可微，因此将它在处Taylor展开： 拆开整理可得： 要求，则令迭代即可得 2、实际问题是要求，将在处Taylor展开： 则问题变为： 下面介绍近端映射函数： ,问题为：给定一个变量，找到上面优化问题的极小...
近似点梯度法【Proximal Gradient Method】
v20000727的博客
01-09 2539
近似点梯度算法．它能克服次梯度算法的缺点，充分利用光滑部分的信息，并在迭代过程中显式地保证解的结构，从而能够达到和求解光滑问题的梯度算法相近的收敛速度．
PGM-Proximal Gradient Methods -#notebook
最新发布
weixin_53162487的博客
02-15 1010
PGM方法，解决的是可以分离的非光滑凸优化问题， 推导过程实际上采用的是泰勒展开和配方法（结合梯度下降更新公式）。 问题背景 近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要想表达"（物理上的）接近"。与经典的梯度下降法和随机梯度下降法相比，近端梯度下降法的适用范围相对狭窄。对于凸优化问题，当其目标函数存在不可微部分（例如目
LASSO近端梯度下降法Proximal Gradient Descent公式推导及代码
DS_agent的博客
05-25 6517
文章目录LASSO by Proximal Gradient DescentProximal Gradient Descent FrameworkProximal Gradient Descent DetailsSimplified Code LASSO by Proximal Gradient Descent Proximal Gradient Descent Framework randomly set β(0)\beta^{(0)}β(0) for iteration 0 For kkkth ite
加速近端梯度算法APG算法的matlab实现
09-08
APG算法结合了近端梯度法（Proximal Gradient Method）的优点，并引入Nesterov加速机制，以更快的收敛速度解决这类问题。 **近端梯度法（Proximal Gradient Method）** 近端梯度法是解决带范数惩罚项的优化问题的...
关于近端梯度下降法你不知道的事
lyy的博客
05-26 1900
目录介绍梯度下降法回顾近端梯度下降法加速的近端梯度法 介绍 近端梯度下降法是众多梯度下降 (gradient descent) 方法中的一种，其英文名称为proximal gradident descent，其中，术语中的proximal一词比较耐人寻味，将proximal翻译成“近端”主要想表达"（物理上的）接近"。与经典的梯度下降法和随机梯度下降法相比，近端梯度下降法的适用范围相对狭窄。对于凸优化问题，当其目标函数存在不可微部分（例如目标函数中有 [公式] -范数或迹范数）时，近端梯度下降法才会派上用
改进的近端梯度法及其收敛性
03-17
改进的近端梯度法及其收敛性
MATLAB梯度下降法
08-23
本程序是根据斯坦福大学吴恩达老师的机器学习公开课实现的MATLAB程序 简单易懂 你值得拥有
【First-order Methods】 10 The Proximal Gradient Method
weixin_38716567的博客
04-10 726
参考文献：first-order methods in optimization: Amir Beck Underlying Space:Euclidean norm 1 The Composite Model 本章主要考虑的复合函数模型及假设如下： 2 The Proximal Gradient Method 考虑以下问题（)： 投影梯度方法： 等...
近端梯度法（proximal gradient）
guofei_fly的博客
01-05 3756
近端梯度法是一种求解不可微凸函数最优化问题的经典方法。其核心思想在于将不可微凸函数的最优化问题转换为易求解的proximal映射函数，从而实现近似求解。 一、proximal映射 proximal映射是近端梯度法的核心方法。假设约束函数f(x)f(\boldsymbol x)f(x)的定义域为U\boldsymbol UU，定义自变量x\boldsymbol xx的proximal映射为：prox...
propack matlab,加速近端梯度算法APG算法的matlab实现.zip
weixin_35823048的博客
03-17 815
1Accelerated Proximal Gradient0 Bytes2018/10/17 21:18:332Accelerated Proximal Gradient\apg0 Bytes2018/10/17 21:18:333Accelerated Proximal Gradient\apg\apg0 Bytes2018/10/17 21:18:334Accelerated Proxima...
Optimization Week 12: Proximal gradient method and newton method
xiwang
01-21 459
Week 12: Proximal gradient method and newton method1 Proximal gradient method1.1 Motivation1.2 Idea of proximal gradient1.3 Proximal gradient1.4 Convergence1.5 Examples2 Newton method (Second order method)2.1 Motivation2.2 Idea of Newton method2.3 Newton m
[first order method] Proximal Gradient Descent
艳艳博客
02-07 2252
Proximal gradient descent Example Properties of Proximal mapping1 Proximal gradient descentUnconstrained Problem with cost function split into two components. minf(x)=g(x)+h(x)\min f(x)=g(x)+h(x) whe
对近端梯度算法（Proximal Gradient Method）的理解
热门推荐
Chaolei3的博客
08-03 3万+
参考： https://blog.csdn.net/jzwong/article/details/80361180 https://blog.csdn.net/lanyanchenxi/article/details/50448640#comments 前面说到对于不可微的凸函数我们可以利用次梯度算法对目标函数进行求解，但是这并不是唯一求解不可微的凸函数的算法。在参考其他博主写的博客基础上，...
近端算法：近端最小化(Proximal minimization)、近端梯度(PG)、加速近端梯度(APG)、ADMM
weixin_43248507的博客
03-12 9927
近端算法基本介绍及定义定义解释性质解释Moreau-Yosida正则化 此文章翻译于 Proximal Algorithms, Neal Parikh & Stephen Boyd. Parikh N, Boyd S. Proximal algorithms[J]. Foundations and Trends in optimization, 2014, 1(3): 127-239. 这里给出了示例的源代码及近端算子的实现库： https://web.stanford.edu/~boyd/pap
proximal gradient method
04-06
近端梯度方法（proximal gradient method）是一种用于解决大规模非光滑优化问题的数值优化算法。该方法将梯度下降法与近端算子相结合，用于处理具有稀疏解或非光滑正则化项的问题。该方法被广泛应用于机器学习、信号...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值