深入理解AMP

问题深入

注意到，一方面，对于AMP算法，基于信念传播的推导方式并不容易让人直观地去理解AMP的本质，比如为什么"Onsager"项可以在迭代过程中消除估计误差与感知矩阵的相关性？另一方面，AMP的状态演进分析过于复杂，但如果能直观地理解其演化过程，那么对AMP本质意义上的理解也会更上一层楼。我们接下来将基于AMP的迭代公式和Taylor展开，进行反向分析和理解。

“Onsager”项的理解

回顾AMP的迭代公式：

感知矩阵$\mathbf{A}\in {\mathbb{R}}^{m\times n}$，且$a_{ij}\sim \mathcal{N}(0,1/m)$，AMP的迭代式为：
$$\begin{array}{rl}\text{Linear: }{\mathbf{\nu }}^t& =\mathbf{y}-\mathbf{A}{\hat{\mathbf{x}}}^t+\underset{\text{Onsager term}}{\underbrace{\frac{n}{m}{\mathbf{\nu }}^{t-1}\text{div}\left(\eta ({\mathbf{r}}^{t-1})\right)}}\\ \text{Non-linear: }{\hat{\mathbf{x}}}^{t+1}& =\eta \left(\underset{{\mathbf{r}}^t}{\underbrace{{\hat{\mathbf{x}}}^t+{\mathbf{A}}^T{\mathbf{\nu }}^t}}\right)\end{array}$$

我们首先考虑 $\mathbf{A}{\hat{\mathbf{x}}}^t$这一项，
$$\begin{array}{rl}[\mathbf{A}{\hat{\mathbf{x}}}^t{]}_i& ={\mathbf{a}}_i^T\eta \left({\hat{\mathbf{x}}}^{t-1}+\sum _l{\mathbf{a}}_l{\nu }_l^{t-1}\right)\text{ where }{\mathbf{a}}_i^T\text{ is the }i\text{-th row of }\mathbf{A}\\ & ={\mathbf{a}}_i^T\eta \left(\underset{{\mathbf{r}}_i^{t-1}}{\underbrace{{\hat{\mathbf{x}}}^{t-1}+\sum _{l\ne i}{\mathbf{a}}_l{\nu }_l^{t-1}}}+{\mathbf{a}}_i{\nu }_i^{t-1}\right)\\ & ={\mathbf{a}}_i^T\left(\eta ({\mathbf{r}}_i^{t-1})+\frac{\partial \eta }{\partial \mathbf{r}}({\mathbf{r}}_i^{t-1}){\mathbf{a}}_i{\nu }_i^{t-1}+O(1/m)\right)\text{Taylor expansion}\\ & ={\mathbf{a}}_i^T\eta ({\mathbf{r}}_i^{t-1})+{\nu }_i^{t-1}\sum _j{a}_{ij}^2{\eta }^{\prime }(r_{ij}^{t-1})+O(1/\sqrt{m})\\ & ={\mathbf{a}}_i^T\eta ({\mathbf{r}}_i^{t-1})+\frac{n}{m}{\nu }_i^{t-1}\underset{\text{div}\left(\eta ({\mathbf{r}}_i^{t-1})\right)}{\underbrace{\frac{1}{n}\sum _j{\eta }^{\prime }(r_{ij}^{t-1})}}+O(1/\sqrt{m})\end{array}$$

因此，
$$\mathbf{A}{\hat{\mathbf{x}}}^t=\mathbf{A}\eta ({\mathbf{r}}_i^{t-1})+\frac{n}{m}{\mathbf{\nu }}^{t-1}\text{div}\left(\eta ({\mathbf{r}}_i^{t-1})\right)+O(1/\sqrt{m})$$

因此，进一步考虑${\mathbf{\nu }}^t$与$\mathbf{A}$之间的相关性：
ν t = a y − A x ^ t + n m ν t − 1 div ( η ( r t − 1 ) ) ⏟ Onsager term = A x 0 + w − [ A η ( r i t − 1 ) + n m ν t − 1 div ( η ( r i t − 1 ) ) ] + n m ν t − 1 div ( η ( r t − 1 ) ) ⏟ Onsager term + O ( 1 / m ) → b A ( x 0 − ( x 0 + ϵ ) ⏟ x ^ t − 1 = η ( r i t − 1 ) ) + w      {  where  η ( r i t − 1 ) → x ^ t − 1 , define  x ^ t − 1 = x 0 + ϵ } = − A ϵ + w \begin{aligned} \boldsymbol \nu^t &\overset{a}{=} \boldsymbol y - \boldsymbol A \hat {\boldsymbol x}^t + \underset{\text{Onsager term}}{\underbrace{\frac{n}{m} \boldsymbol \nu^{t-1} \text{div}\left( \eta(\boldsymbol r^{t-1}) \right )}} \\ &= \boldsymbol A \boldsymbol x_0 + \boldsymbol w - \left [ \boldsymbol A \eta (\boldsymbol r^{t-1}_i) + \frac{n}{m} \boldsymbol \nu^{t-1} \text{div} \left( \eta(\boldsymbol r^{t-1}_i) \right ) \right] + \underset{\text{Onsager term}}{\underbrace{\frac{n}{m} \boldsymbol \nu^{t-1} \text{div}\left( \eta(\boldsymbol r^{t-1}) \right )}} + O(1/\sqrt m) \\ &\overset{b}{\rightarrow} \boldsymbol A ( \boldsymbol x_0 - \underset{\hat{\boldsymbol x}^{t-1}=\eta(\boldsymbol r^{t-1}_i) }{\underbrace{(\boldsymbol x_0 + \boldsymbol \epsilon)}}) + \boldsymbol w \ \ \ \ \{\text{ where } \eta(\boldsymbol r^{t-1}_i) \rightarrow \hat{\boldsymbol x}^{t-1} \text{, define } \hat{\boldsymbol x}^{t-1} = \boldsymbol x_0 + \boldsymbol \epsilon \} \\ & \overset{}{=} - \boldsymbol A \boldsymbol \epsilon + \boldsymbol w \end{aligned} νt​=ay−Ax^t+Onsager term mn​νt−1div(η(rt−1))​​=Ax0​+w−[Aη(rit−1​)+mn​νt−1div(η(rit−1​))]+Onsager term mn​νt−1div(η(rt−1))​​+O(1/m ​)→bA(x0​−x^t−1=η(rit−1​) (x0​+ϵ)​​)+w    { where η(rit−1​)→x^t−1, define x^t−1=x0​+ϵ}=−Aϵ+w​

注意到，在(a)中，${\mathbf{\nu }}^t$与矩阵$\mathbf{A}$的相关性体现在$\mathbf{A}{\hat{\mathbf{x}}}^t$与Onsager term这两项中，因为AMP线性迭代式的操作，Onsager项的相关性被消除了。剩余一项的相关性，如(b)可见，随着估计误差的减小，而逐渐消失。

另一方面，我们还要考虑${\hat{\mathbf{x}}}^t$与矩阵$\mathbf{A}$的相关性，在AMP迭代的非线性估计中，${\hat{\mathbf{x}}}^t$与矩阵$\mathbf{A}$的相关性通过${\mathbf{A}}^T{\mathbf{v}}^t$建立，有
$${\mathbf{A}}^T{\mathbf{v}}^t=-{\mathbf{A}}^T\mathbf{A}\mathbf{ϵ}+{\mathbf{A}}^T\mathbf{w}$$

一般有假设$\mathbf{A}$与$\mathbf{w}$相互独立，${\mathbf{A}}^T\mathbf{A}\mathbf{ϵ}$项的思考与上述类似。事实上，相关性最强的项体现在Onsager term（依据Taylor展开直接得到的），但是因为线性迭代估计把Onsager term给消除了，所以依赖性大大降低。

直观理解状态演进过程

回顾AMP的状态演进分析

若噪声$\mathbf{w}\sim \mathcal{N}(0,{\sigma }^2\mathbf{I})$，则AMP的状态演进分析为：
$$\begin{array}{rl}\text{for }t& =0,1,2,\cdots \\ {\tau }_t^2& ={\sigma }^2+\frac{n}{m}{\mathcal{E}}^t\\ {\mathcal{E}}^t& =\mathbb{E}\left\{{\left[{\eta }^t\left(X_0+\mathcal{N}(0,{\tau }_t^2)\right)-X_0\right]}^2\right\}\end{array}$$

考虑误差项 ${\mathbf{e}}_t={\mathbf{r}}_t-{\mathbf{x}}_0$，有
$$\begin{array}{rl}{\mathbf{e}}_t& ={\mathbf{r}}_t-{\mathbf{x}}_0\\ & ={\hat{\mathbf{x}}}^t+{\mathbf{A}}^T{\mathbf{\nu }}^t-{\mathbf{x}}_0\\ & ={\hat{\mathbf{x}}}^t+{\mathbf{A}}^T\left[\mathbf{A}({\mathbf{x}}_0-{\hat{\mathbf{x}}}^{t-1})+\mathbf{w}\right]-{\mathbf{x}}_0\\ & \to (\mathbf{I}-{\mathbf{A}}^T\mathbf{A})({\hat{\mathbf{x}}}^t-{\mathbf{x}}_0)+{\mathbf{A}}^T\mathbf{w}\end{array}$$

根据中心极限定理和矩阵$\mathbf{A}$的分布，可以得到$(\mathbf{I}-{\mathbf{A}}^T\mathbf{A})$的每一项服从高斯分布$\mathcal{N}(0,1/m)$，因此
$${\Vert (\mathbf{I}-{\mathbf{A}}^T\mathbf{A})({\hat{\mathbf{x}}}^t-{\mathbf{x}}_0)\Vert }_F^2\to \frac{n}{m}{\Vert ({\hat{\mathbf{x}}}^t-{\mathbf{x}}_0)\Vert }_2^2(m,n\to \infty )$$

因此
$$\begin{array}{rl}\underset{n\to \infty }{\lim }\frac{1}{n}{\Vert {\mathbf{e}}_t\Vert }_2^2& \to \frac{n}{m}\cdot \frac{1}{n}{\Vert ({\hat{\mathbf{x}}}^t-{\mathbf{x}}_0)\Vert }_2^2+{\sigma }^2\\ & =\frac{n}{m}\mathbb{E}[{\hat{x}}_t-x_0]+{\sigma }^2\end{array}$$

因此直观上得到了AMP状态演进分析的方程，但是该推导过程最重要的假设是考虑${\hat{\mathbf{x}}}^t$与矩阵$\mathbf{A}$的相关性已被消除（相关性的主成分是因为Onsager项被删除的）。