ISTA & FISTA

最新推荐文章于 2024-06-21 09:42:16 发布

李尔唯

最新推荐文章于 2024-06-21 09:42:16 发布

阅读量1.4w

点赞数 11

分类专栏：图像处理 optimization

本文链接：https://blog.csdn.net/iverson_49/article/details/38354961

版权

图像处理同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

optimization

1 篇文章 0 订阅

订阅专栏

LASSO是一个图像处理中经典的目标方程

$\arg\min_x\left \| Ax-b \right \|^2+\lambda\left \| x \right \|_1$

第二项的1范数限制了x的稀疏性。

比如在图像去模糊的问题中，已知模糊的图像b，和模糊函数R，我们想恢复去模糊的图像I。这些变量的关系可以表达成I*R=b，其中*为卷积。在理想状态下，b没有任何噪音，那么这个问题就很简单。基于卷积定理，两个函数在时域的卷积相当于频域的相乘，那么我们只需要求出b和R的傅里叶变换，然后相除得到I的傅里叶变换，再将其恢复到时域。但是一般来说模糊图像b含有噪声，这使得频域中的操作异常不稳定，所以更多时候，我们希望通过以下方程求得I

$\arg\min_x\left \| RI-b \right \|^2+\lambda p(I)$

其中模糊算子R表现成矩阵形式，I和b表示为1维向量，函数p作为规范项。我们将I小波分解，I=Wx,其中W为小波基，x为小波基系数。我们知道图像的小波表示是稀疏的，那么目标方程就变成了LASSO的形式

$\arg\min_x\left \| Ax-b \right \|^2+\lambda\left \| x \right \|_1$

其中A=RW。现在的问题是，这个方程由于L1范数的存在，不是处处可微的，如果用subgradient的方法，收敛的速度会很慢。

ISTA(Iterative Shrinkage-Thresholding Algorithm)

这个算法可以解决以上f+g形式的最小化问题，但ISTA适用于以下形式问题的求解：1.目标方程是f+g的形式2.f和g是凸的，f是可导的，g无所谓3.g需要足够简单（可拆分的，可以做坐标下降的coordinate descent）我们首先看对f做一般的递归下降

$x_{k}=x_{k-1}-t_k\nabla f(x_{k-1})$

这种形式的递归下降可以写成等价的以下形式(general form)

$x_{k}=\arg\min_x \{f(x_{k-1}) + \left \langle x-x_{k-1},\nabla f(x_{k-1}) \right \rangle + {1 \over 2t_k}\left \| x-x_{k-1} \right \|^2\}$

因为在我们的问题中除了f还有一个非平滑的g存在，一个简单的想法是改变迭代公式成以下形式(也就是直接把g加到后面)

$x_{k}=\arg\min_x \{f(x_{k-1}) + \left \langle x-x_{k-1},\nabla f(x_{k-1}) \right \rangle + {1 \over 2t_k}\left \| x-x_{k-1} \right \|^2+g(x)\}$

通过基本的代数，消去和x无关的常数项，每一步的迭代公式就变成了

$x_{k}=\arg\min_x \{ {1 \over 2t_k}\left \| x-(x_{k-1}-t_k\nabla f(x_{k-1})) \right \|^2+g(x)\}$

这时我们可以看到，假如g是一个开拆分的函数(比如L1范数)，我们就可以对每一维分别进行坐标下降，也就是将N维的最小值问题，转化成N个1D的最小值问题。我们发现，如果 $g=\lambda\left \| x \right \|_1$ 的话，那么这个问题有解析解,即每步的迭代可以写成：

$x_k=\tau _{\lambda t_k}(x_{k-1}-t_k\nabla f(x_{k-1}))$

其中 $\tau_\alpha(x)_i=(\left | x_i \right |-\alpha)_+sign(x_i)$ 称作shrinkage operator。

FISTA(FAST Iterative Shrinkage-Thresholding Algorithm)

FISTA其实就是对ISTA应用Nestrerov加速。一个普通的Nestrerov加速递归下降的迭代步骤是

1. $\xi_0=0$

2. $\xi_k={1+\sqrt{1+4\xi_{k-1}^2} \over 2},\gamma_k={1-\xi_{k-1} \over \xi_k}$

3. $y_{k}=x_{k-1}-t_k\nabla f(x_{k-1})$

4. $x_k=(1-\gamma_k)y_{k}+\gamma_ky_{k-1}$

应用到FISTA上的话，就是把第3步换成ISTA的迭代步骤。可以证明FISTA可以达到 $1/t^2$ 的收敛速度。（t是迭代次数）通过下面的实验可以看到，同样迭代了300次，左图(ISTA)仍未收敛，图像仍然模糊。而右图(FISTA)已经基本还原了去模糊的原图。

李尔唯

关注

11
点赞
踩
48

收藏

觉得还不错? 一键收藏
9
评论
ISTA & FISTA

LASSO是一个图像处理中经典的目标方程第二项的1范数限制了x的稀疏性。比如在图像去模糊的问题中，已知模糊的图像b，和模糊函数R，我们想恢复去模糊的图像I。这些变量的关系可以表达成I*R=b，其中*为卷积。在理想状态下，b没有任何噪音，那么这个问题就很简单。基于卷积定理，两个函数在时域的卷积相当于频域的相乘，那么我们只需要求出b和R的傅里叶变换，然后相除得到I的傅里叶变换，再将其恢复到
复制链接

扫一扫