近端梯度下降法

z_h_a_n_g_h

于 2023-11-20 16:45:59 发布

阅读量148

点赞数

文章标签：算法

本文链接：https://blog.csdn.net/z_h_a_n_g_h/article/details/134510570

版权

文章介绍了在凸优化问题中，当目标函数包含不可微部分（如绝对值项或L1范数）时，如何使用近端梯度下降法进行求解。方法包括泰勒展开可微部分的梯度，结合近端映射找到新方向，实现迭代更新。讨论了不同形式不可微凸函数下的近端映射操作和相应的更新策略。

摘要由CSDN通过智能技术生成

对凸优化问题，目标函数存在不可微部分时才使用（绝对值项，l1范数，迹范数），求解想法为对可微部分泰勒展开，求得下降方向作为初步更新方向，然后利用近端映射找到一个可以使不可微部分函数值最小且尽可能接近初步更新方向的新方向，作为迭代更新的方向。

目标函数的形式： $f (x) = g (x) + h (x)$ ，其中 $g (x)$ 为凸函数且可微， $h (x)$ 是不可微的凸函数

例： $X\in \mathbb{R}^{m\times n}$ , $y\in \mathbb{R}^{m}$ , $y = Xw$ , $w\in \mathbb{R}^{n}$ 表示系数向量，则优化问题目标函数
$||y-Xw||_{2}^{2}+\lambda||w||_{1}$
前一项为可微凸函数，后一项为不可微凸函数，可以使用近端梯度下降法求解

近端映射

对于上述凸优化问题，需定义近端映射算子，近端映射函数的定义：
$prox_{h,t}(x)=argmin_{z}\frac{1}{2t}||x-z||_{2}^{2}+h(z)$
即给定一个x，找到最优点 $z=prox_{h,t}(x)$ ，使得 $\frac{1}{2t}||x-z||_{2}^{2}+h(z)$ 最小，这样的 $z$ 能够使得 $h$ 足够小，且接近原不可微点 $x$ 。

梯度迭代

选择一个初始的 $x^{(0)}$ ，然后重复：
$x^{(k)}=prox_{h,t_{k}}(x^{(k-1)}-t_{k}\nabla g(x^{(k-1)}))$
$k = 1, 2, 3...$ 表示当前为第 $k$ 次迭代。
对于这个迭代算法可以这样理解：给定起点 $x^{(k-1)}$ ，先沿目标函数可微部分凸函数g的负梯度方向，做步长为 $t_k$ 的梯度下降得到一个预更新值 $\tilde{x}^{(k-1)}$ ，然后使用近端映射寻找一个 $z$ ，这个 $z$ 能使得不可微函数 $h$ 足够小，且接近预更新值，就将这个 $z$ 作为本次迭代的更新值 $x^{(k)}$ 。

不可微凸函数h(x)

实际上，近端算子只和不可微的凸函数 $h (w)$ 有关.
(1)当不可微的凸函数形式为 $h (w) = 0$ 时，
$prox_{t}(x)=argmin_{z}\frac{1}{2t}||x-z||_{2}^{2}+0=x$
更新策略：
$x^{(k)}=x^{(k-1)}-t_{k}\nabla g(x^{(k-1)})$
此时退化为常规的梯度下降算法。

(2)当不可微的凸函数形式为 $h(w)=I_{C}(x)$ 时，
$prox_{t}(x)=argmin_{z}\frac{1}{2t}||x-z||_{2}^{2}+I_{C}(x) \\ =argmin_{z\in C}\frac{1}{2t}||x-z||_{2}^{2} \\=P_{C}(x)$
更新策略：
$x^{(k)}=P_{C}(x^{(k-1)}-t_{k}\nabla g(x^{(k-1)}))$
其中 $I_{C}$ 为集合C的示性函数， $P_{C}(x)$ 为集合C上的投影算子，此时为投影梯度下降法。

(3)当不可微的凸函数形式为 $h(w)=||x||_{1}$ 时，
$prox_{t}(x)=argmin_{z}\frac{1}{2t}||x-z||_{2}^{2}+||z||_{1} \\ =argmin_{z}||x-z||_{2}^{2}+2t||z||_{1} \\ =S_{t}(x)$
在这里插入图片描述
(4)当不可微的凸函数形式为 $h(w)=\lambda||x||_{1}$ 时，

(5)若将近端梯度算法展开成一个网络，且 $h (x)$ 的形式不定，则网络可以根据对应问题及数据自行学得复杂的 $h (x)$