FAST LOW-RANK APPROXIMATION FOR COVARIANCE MATRICES

Belabbas M A, Wolfe P J. Fast Low-Rank Approximation for Covariance Matrices[C]. IEEE International Workshop on Computational Advances in Multi-Sensor Adaptive Processing, 2007: 293-296.

Nystorm method

和在WIKI看到的不是同一个东西？

假设$G\in {\mathbb{R}}^{n\times n}$为对称正定矩阵。
$$G=\left[\begin{array}{ll}A& B^T\\ B& C\end{array}\right]$$
其中$A\in {\mathbb{R}}^{k\times k},k<n$。
假设$G=U\Lambda U^T$,$A=U_A{\Lambda }_A{U}_A^T$,令
$$\tilde{U}=\left[\begin{array}{c}{U}_A\\ B{U}_A{\Lambda }_A^{-1}\end{array}\right]$$
则：
$$\tilde{G}:=\tilde{U}{\Lambda }_A{\tilde{U}}^T=\left[\begin{array}{ll}A& B^T\\ B& B{A}^{-1}{B}^T\end{array}\right]$$
易得：
$$\Vert G-\tilde{G}\Vert =\Vert C-B{A}^{-1}{B}^T\Vert$$

再玩一下，令：
$$G=\left[\begin{array}{lll}{A}_1& A_2^T& A_3^T\\ A_2& M& B^T\\ A_3& B& C\end{array}\right]$$
且$M=U_M{\Lambda }_M{U}_M^T$.
再令
$$\tilde{U}:=\left[\begin{array}{c}{A}_2^T{U}_M{\Lambda }_M^{-1}\\ U_M\\ B{U}_M{\Lambda }_M^{-1}\end{array}\right]$$
则：
$$\tilde{G}:=\tilde{U}{\Lambda }_M{\tilde{U}}^T=\left[\begin{array}{ccc}{A}_2^T{M}^{-1}{A}_2& A_2^T& A_2^T{M}^{-1}{B}^T\\ A_2& M& B^T\\ B{M}^{-1}{A}_2& B& B{M}^{-1}{B}^T\end{array}\right]$$
这个阵型还蛮酷的。

低秩逼近

先来介绍一个性质：$F(F^{T}F{)}^{-1/2}$列正交（当然$F^{T}F$得可逆）。
$$(F(F^{T}F{)}^{-1/2}{)}^{T}F(F^{T}F{)}^{-1/2}=(F^{T}F{)}^{-1/2}{F}^{T}F(F^{T}F{)}^{-1/2}=I$$
实际上，如果$F^{T}F=V\Lambda V^T$，那么$F{V}_k{\Lambda }_k^{-1/2}$列正交。
所以，我们可以让$F$的列为$G$中某些列的组合，再让$P_k:=F{V}_k{\Lambda }_k^{-1/2}$,最后：
$${\tilde{G}}_k:=P_k{P}_k^{T}G{P}_k{P}_k^T$$
来作为$G$的一个近似。

矩阵乘法的逼近

如果我们能够令$\Vert G{G}^T-F{F}^T\Vert$尽可能小，那么$P_k{P}_k^{T}G$就越有可能成为一个好的逼近，这需要利用矩阵乘法的逼近。
对于矩阵$A\in {\mathbb{R}}^{m\times n}$和$B\in {\mathbb{R}}^{n\times p}$，得：
$$AB=\sum _{i=1}^n{A}_i{B}^i$$
其中$A_i$为$A$的第i列，$B^i$为$B$的第i行。
论文举了一个例子：
如果$n=2$，且$A_2=\sqrt{\alpha }{A}_1$,$B=A^T$，
那么$AB=(1+\alpha )A_1{A}_1^T$。这意味着，我们只需通过$A$的第一列就能恢复$AB$。
所以接下来的问题是：

• 如何选择行或者列
• 如何调整它们的大小（乘个系数）

作者说，有一个神谕说列和行应该为 S ⊂ { 1 , … , n } S \subset \{1, \ldots, n\} S⊂{1,…,n}，不失一般性，假设其为 S = { 1 , … , k } S = \{1, \ldots, k\} S={1,…,k}。下面的定理给出了权重的选择：

所以我们要挑选$S$,使得$Z$的对角线元素尽可能小，这意味着，我们要挑选这样的$S$,使得$<A_i,A_i><B^i,B^i>$最大。
于是有了下面的俩个算法，分别针对矩阵乘法和矩阵逼近的：