向量化近似消息传递算法（vector-AMP）浅析

AMP算法相关内容：

1.基本概要：

标准线性回归（SLR）问题是从噪声线性观测值Y= AX0+W恢复向量X0。Donoho、Maleki和Muntali提出的近似消息传递（AMP）算法是一种计算效率很高的迭代方法，它对SLR具有显著的性质：对于大I.I.D.亚高斯矩阵A，其每次迭代行为的严格特征是标量状态演化，其不动点在唯一时是Bayes最优的。然而，AMP算法是脆弱的，因为即使是与i.i.d.亚高斯模型的微小偏差也会导致算法发散。本文考虑了一个向量AMP（VAMP）算法，证明了VAMP具有严格的标量状态演化，它适用于更广泛的一类大随机矩阵a：那些正交不变的矩阵在执行A的初始奇异值分解（SVD）之后，VAMP的每次迭代复杂度与AMP相似。此外，VAMP状态演化的不动点与由Tulino、Caire、Verd'u和Shamai导出的最小均方误差的副本预测一致数值实验验证了VAMP的有效性及其与状态演化预测的一致性。

1.1.基本问题：

对于上述问题的求解，主要可以通过如下两种方法进行：

（1）regularized quadratic loss minimization（正则化二次损失最小化），正则化优化问题：

（2）Bayesian methodology（贝叶斯方法）

假设存在一个先验概率p(x),和似然函数p(y|x),然后计算后验概率：

对应的最小均方误差估计则可以表示为：

如果噪声 ,则优化问题可以等价为在先验 条件下的最大后验概率估计（MAP）

1.2.AMP算法解析

g1为软阈值函数，也可以说成为去噪函数

A为一个大型亚高斯矩阵， ，g1是可分离的，即

由此可见AMP对应的rk似乎表现为一个被高斯白噪声干扰的信号，即

其中 可以通过状态演化（state evolution,SE）预测：

 是AMP的MSE估计x

AMP的状态演化（SE）为A（高斯或亚高斯）严格建立。

AMP算法流程：

VAMP同AMP的差别在于前者采用奇异值分解的方法来处理矩阵

其他的差别在于对矩阵的处理，即每个分量为向量而非具体数值，VAMP算法步骤如图

Code at: