低秩矩阵分解算法——迭代阈值算法

欢迎学习交流！
邮箱： z…@1…6.com
网站： https://zephyrhours.github.io/

前言

低秩稀疏理论在数字图像处理中有着非常广泛的应用，相关的求解算法也很多，本文主要介绍一下迭代阈值算法 (Iterative Thresholding，IT) 在高光谱影像数据分解中的应用。

迭代阈值算法

假设原始的高光谱数据维$X\in {\mathbb{R}}^{r\times c\times b}$，其中$r$、$c$、$b$ 分别表示高光谱影像的行、列和波段。而矩阵分解操作一般处理的都是二维矩阵，而高光谱影像数据本身维三维矩阵，因此在进行运算之前，我们首先需要将三维的高光谱数据转换（reshape）为二维矩阵，然后进行后续的操作。$D\in {\mathbb{R}}^{N\times b}$，此处$N=r\times c$，表示高光谱影像中的像元个数。$D$就是reshape之后的二维矩阵。
$$mi{n}_{A,E}=\Vert A{\Vert }_{\ast }+\lambda \Vert E{\Vert }_1,s.t.D=A+E\text{\hspace{1em}(1)}$$
RPCA（Robust Principal Component Analysis）算法求解的实质就是解决上述公式1中的凸优化问题，而迭代阈值算法解决了公式（1）中所描述的问题，具体算法如下：
$$mi{n}_{A,E}=\Vert A{\Vert }_{\ast }+\lambda \Vert E{\Vert }_1+\frac{1}{2\tau }\Vert A{\Vert }_F^2+\frac{1}{2\tau }\Vert E{\Vert }_F^2,s.t.D=A+E\text{\hspace{1em}(2)}$$
其中，$\tau$是一个大的正标量，因此目标函数只是受到轻微的扰动。为了去掉等式的限制条件，在公式（2）的求解过程中引入拉格朗日乘子$Y$，因此，公式（2）的拉格朗日函数为：
$$\begin{gathered} L(A,E,Y)=\Vert A{\Vert }_{\ast }+\lambda \Vert E{\Vert }_1+\frac{1}{2\tau }\Vert A{\Vert }_F^2+\frac{1}{2\tau }\Vert E{\Vert }_F^2 \\ +\frac{1}{\tau }<Y,D-A-E>,s.t.D=A+E\text{\hspace{1em}(3)} \end{gathered}$$
然后通过迭代阈值算法迭代升级 $A$，$E$ 和 $Y$。通过固定$Y$，并最小化 $L(A,E,Y)$，来升级 $A$ 和 $E$。然后在进行 $Y$ 的升级。其中，需要介绍一下软阈值操作（收缩操作），具体如下：
$$S_{\epsilon }[x]=\{\begin{array}{rl}& x-\epsilon ,ifx>\epsilon \\ & x+\epsilon ,ifx<-\epsilon \\ & 0,otherwise\end{array}\text{\hspace{1em}(4)}$$
其中，$x\in \mathbb{R}$，$\epsilon >0$，该操作可以扩展到向量或者矩阵（通过逐个值操作）。此时我们需要注意到，对A和E进行升级时，分别要求$\Vert \cdot {\Vert }_{\ast }$和$\Vert \cdot {\Vert }_1$相关的式子，此时用到一个等价操作，分别用于核范数最小化问题和$l_1$范数最小化问题的求解，具体如下：
$$U{S}_{\epsilon }[S]V^T=argmi{n}_X\epsilon \Vert X{\Vert }_{\ast }+\frac{1}{2}\Vert X-W{\Vert }_F^2核范数求解式（用于升级A）\text{\hspace{1em}(5)}$$
$$S_{\epsilon }[W]=argmi{n}_X\epsilon \Vert X{\Vert }_1+\frac{1}{2}\Vert X-W{\Vert }_F^2{l}_1范数求解式（用于升级E）\text{\hspace{1em}(6)}$$
其中的 $US{V}^T$ 是 $W$ 的奇异值分解操作。需要注意的是：使用上述公式 (5)-(6) 进行求解需要对公式(3)进行化简，具体这里不再赘述，感兴趣可以下载笔者分分享的RPCA和LRR算法基inexact ALM算法的具体求解文档，里面有详细的介绍：RPCA和LRR具体求解推导文档 。在此处只需要按照下面的IT算法的伪代码编程即可，程序中没有用到公式(5)-(6) 。

在IT算法中，具体的迭代阈值运算过程如下：

尽管IT算法非常简单且可以证明是正确的，但它需要进行大量的迭代才能收敛，并且难以选择步长${\delta }_k$ 进行加速，因此其适用性受到限制。

参考文献：
[1] Lin, Z., Chen, M. and Ma, Y., 2010. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices. arXiv preprint arXiv:1009.5055.