AMP的推导和理解(Part-1)

Approximate Message Passing, AMP

前言

这篇博客是对AMP推导和理解的开端，主要介绍了在似然函数为Delta函数的硬约束问题下AMP的推导过程，笔者才疏学浅，如果在博文的表述过程中有不当之处，甚至歪曲原文本身的观点，还希望读者们包涵。因为上次在跟导师讨论的过程中发现，我其实在对论文的理解上有些局限于具体的推导过程，而没有比较好地把握住全局的思路，因此在写这篇博客时有一些改变，完成全面推导的基础上，在消息传递的步骤和文章小结部分做了一些由浅入深的讨论与总结。至少这让我感觉到，如果别人问起AMP的来源，虽然不一定完全正确，但可以略说一二。

问题模型

硬约束下的压缩感知信号恢复(BP)

所谓硬约束，就是指观测向量直接由感知矩阵和信号得到，其似然函数为Delta函数，具体考虑的信号模型为基追踪(Basis Pursuit, BP)问题，该问题的数学表述如下

$$\{\begin{array}{l}\min {\Vert s\text{s}s\Vert }_1\\ \text{subject to }y\text{y}y=A\text{A}As\text{s}s\end{array}\text{\hspace{1em}(1)}$$

其中，$s\text{s}s\in {\mathbb{R}}^N$是要恢复的信号，$A\text{A}A\in {\mathbb{R}}^{n\times N}$是感知（测量）矩阵，$y\text{y}y\in {\mathbb{R}}^n$是观测向量。

软约束下的压缩感知信号恢复(LASSO)

所谓软约束，就是指得到的观测向量被噪声破坏过，其似然函数服从某一特定分布，具体考虑的信号模型为基追踪去噪(Basis Pursuit De-Noising Problem, BPDN or LASSO)问题，该问题的数学表述如下

$$\min \lambda {\Vert s\text{s}s\Vert }_1+\frac{1}{2}{\Vert y\text{y}y-A\text{A}As\text{s}s\Vert }_2^2\text{\hspace{1em}(2)}$$

BPDN问题和BP问题是类似的，区别在于似然函数不同，两者共同的目标都是从观测向量$y\text{y}y$和感知矩阵$A\text{A}A$中恢复出初始的稀疏信号$s\text{s}s$。

参数描述

（1）感知矩阵$A\text{A}A$的列是归一化的，即，${\Vert {a\text{a}a}_i\Vert }_2=1$。这个要求是关键的，在多用户接入场景中，大尺度衰落和功率分配可能会破坏该约束。在下面的叙述过程中，为了简化推导，指定 A a i ∈ { 1 n , − 1 n } A_{ai} \in \{ \frac{1}{\sqrt n},-\frac{1}{\sqrt n} \} Aai​∈{n ​1​,−n ​1​}（论文是这么描述的）。
（2）欠采样的量度(measure of indeterminacy)：$\delta =\frac{n}{N}$。
（3）大系统极限(large system limit)：$N\to \infty \text{ while }\delta \text{ fixed}$。

推导AMP的步骤

BP问题下AMP的推导（AMP.0）

（1）因子图与消息传递

如果没有特殊说明，我们先不考虑$s\text{s}s$的真实先验分布，根据$s\text{s}s$的稀疏性，引入含指数项的拉普拉斯分布，信号$s\text{s}s=[s_1,s_2,\text{...},s_N{]}^T$的联合概率分布函数为

μ ( d s ) = 1 Z ∏ i = 1 N e x p ( − β ∣ s i ∣ ) ∏ a = 1 n δ { y a = ( A s ) a } (3) \mu(\text{d} \pmb s)=\frac{1}{Z} \prod_{i=1}^N exp(-\beta|s_i|) \prod_{a=1}^n \delta_{\{y_a=(As)_a\}} \tag{3} μ(dsss)=Z1​i=1∏N​exp(−β∣si​∣)a=1∏n​δ{ya​=(As)a​}​(3)

这里的 δ { y a = ( A s ) a } \delta_{\{y_a=(As)_a\}} δ{ya​=(As)a​}​指的是在超平面$y_a=(As{)}_a$上的Dirac分布。容易看出，当$\beta \to \infty$时，该分布的峰值与式(1)的解应是对应的。
考虑因子图$G=(V,F,E)$，变量节点 V = [ N ] = { 1 , 2 , ... , N } V=[N]=\{ 1,2,\text{...},N\} V=[N]={1,2,...,N}，因子节点 F = [ n ] = { 1 , 2 , ... , n } F=[n]=\{ 1,2,\text{...},n\} F=[n]={1,2,...,n}，边 E = [ N ] × [ n ] = { ( i , a ) : i ∈ [ N ] , a ∈ [ n ] } E=[N] \times [n]=\{(i,a):i \in[N], a \in [n] \} E=[N]×[n]={(i,a):i∈[N],a∈[n]}，

那么依据和积算法，可以写出

$$\begin{gathered} {\nu }_{i\to a}^{t+1}(s_i)\cong e^{-\beta |s_i|}\prod _{b\ne a}{\hat{\nu }}_{b\to i}^t(s_i) \\ {\hat{\nu }}_{a\to i}^t(s_i)\cong \int \prod _{j\ne i}{\nu }_{j\to a}^t(s_i){\delta }_{y_a-(As{)}_a}\text{\hspace{1em}(4)} \end{gathered}$$

在进入下一部分之前，先对几个重要参数进行说明，虽然之后也会提及，但是相信先强调一下概念可以方便读者思考。

$$\begin{gathered} x_{j\to a}^t={\mathbb{E}}_{{\nu }_{j\to a}^t(s_j)}[s_j] \\ \frac{{\tau }_{j\to a}^t}{\beta }={\text{Var}}_{{\nu }_{j\to a}^t(s_j)}[s_j] \\ {z}_{a\to j}^t={\mathbb{E}}_{{\hat{\nu }}_{a\to j}^t(z)}[Z] \\ {\hat{\tau }}_{a\to j}^t={\text{Var}}_{{\hat{\nu }}_{a\to j}^t(z)}[Z] \end{gathered}$$

（2）大系统极限下的近似

我们希望在大系统极限下，$N\to \infty$，消息分布的形式可以被简化。事实上，当$n,N$充分大，消息${\hat{\nu }}_{a\to i}^t(s_i)$可以被近似为高斯分布，另一方面，${\nu }_{i\to a}^t(s_i)$又可以被近似为拉普拉斯分布与一系列高斯分布的积。下面将对此做具体描述。

定义1：Kolmogorov距离
给定两个分布${\mu }_1$和${\mu }_2$，它们的Kolmogorov距离为
$${\Vert {\mu }_1-{\mu }_2\Vert }_K=\underset{a\in \mathbb{R}}{\sup }|{\int }_{-\infty }^a{\mu }_1(\text{d}x)-{\int }_{-\infty }^a{\mu }_2(\text{d}x)|\text{\hspace{1em}(5)}$$

引理1：令${\mathbb{E}}_{{\nu }_{j\to a}^t(s_i)}[s_j]=x_{j\to a}^t$，${\text{Var}}_{{\nu }_{j\to a}^t(s_i)}[s_j]=\frac{{\tau }_{j\to a}^t}{\beta }$，假设$\int |s_j{|}^3\text{d}{\nu }_{j\to a}^t(s_j)\le C_t,\forall j,a$，那么存在$C_t^{{}^{\prime }}$使得
∥ ν ^ a → i t ( s i ) − ϕ ^ a → i t ( s i ) ∥ ≤ C t ′ N ( τ ^ a → i t ) 3 / 2 ϕ ^ a → i t ( d s i ) ≡ β A a i 2 2 π τ ^ a → i t e x p { β 2 τ ^ a → i t ( A a i s i − z a → i t ) 2 } d s i (6) \\ {\Vert {\hat \nu^t_{a\rightarrow i}(s_i) - \hat \phi^t_{a\rightarrow i}(s_i)} \Vert} \leq \frac{C^{'}_t}{\sqrt{N}(\hat \tau^t_{a \rightarrow i})^{3/2}} \\ \hat \phi^t_{a\rightarrow i}(\text{d} s_i) \equiv \sqrt {\frac{\beta A^2_{ai}}{2 \pi \hat \tau^t_{a \rightarrow i}}}exp{\{ {\frac{\beta}{2\hat \tau^t_{a \rightarrow i}}(A_{ai}s_i-z^t_{a \rightarrow i})^2} \}} \text{d}s_i \tag{6} ∥ν^a→it​(si​)−ϕ^​a→it​(si​)∥≤N ​(τ^a→it​)3/2Ct′​​ϕ^​a→it​(dsi​)≡2πτ^a→it​βAai2​​ ​exp{2τ^a→it​β​(Aai​si​−za→it​)2}dsi​(6)

其中的两个分布参数定义如下

$$z_{a\to i}^t\equiv y_a-\sum _{j\ne i}{A}_{aj}{x}_{j\to a}^t,{\hat{\tau }}_{a\to i}^t\equiv \sum _{j\ne i}{A}_{aj}^2{\tau }_{j\to a}^t\text{\hspace{1em}(7)}$$

证明：对任意的Borel集合$S$，
ν ^ a → i t + 1 ( S ) = P { y a − ∑ j ≠ i A a j s j ∈ A a i S } \hat \nu^{t+1}_{a\rightarrow i}(S)=\mathbb P\{ {y_a- \sum_{j \neq i} A_{aj}s_j \in A_{ai}S} \} ν^a→it+1​(S)=P{ya​−j​=i∑​Aaj​sj​∈Aai​S}
其中 A a i S = { A a i x :   x ∈ S } A_{ai}S=\{ A_{ai}x:\ x \in S \} Aai​S={Aai​x: x∈S}，上式的概率是由随机向量$[s_1,s_2,\text{...},s_{i-1},s_{i+1},\text{...},s_N{]}^T$确定（因为只有$s_j,\forall j$是随机变量），而该随机向量的分布由下述边的消息确定（由式(4)可以看出）

$${\nu }_{1\to a}^t(s_1),\text{...},{\nu }_{(i-1)\to a}^t(s_{i-1}),{\nu }_{(i+1)\to a}^t(s_{i+1}),\text{...},{\nu }_{N\to a}^t(s_N)$$

考虑这样一个随机变量$Z=y_a-{\sum }_{j\ne i}{A}_{aj}{s}_j$，根据中心极限定理，随机变量$Z$服从高斯分布，其均值和方差分别为：

$$\begin{gathered} \mathbb{E}[Z]=y_a-\sum _{j\ne i}{A}_{aj}{x}_{j\to a}^t \\ \text{Var}[Z]=\frac{1}{\beta }\sum _{j\ne i}{A}_{aj}^2{\tau }_{j\to a}^t\text{\hspace{1em}(8)} \end{gathered}$$

注意随机变量$Z$构成的的集合满足： { z } ≡ { A a i s i } \{z\} \equiv \{ A_{ai} s_i \} {z}≡{Aai​si​}，所以$A_{ai}{s}_i$的分布也是高斯的，但是$A_{ai}$是给定的，所以就得到了式(6)的关于$s_i$的高斯分布表达式。

可以看出引理1对从因子节点 { a } \{a\} {a}到变量节点 { i } \{i\} {i}的消息依据中心极限定理做了高斯近似，下一步考虑从变量节点 { i } \{i\} {i}到因子节点 { a } \{a\} {a}的消息，在此之前，先引入一簇函数

f β ( s ; x , b ) ≡ 1 z β ( x , b ) e x p { − β ∣ s ∣ − β 2 b ( s − x ) 2 } (9) f_{\beta}(s;x,b) \equiv \frac{1}{z_{\beta}(x,b)}exp\{ -\beta |s|-\frac{\beta}{2b}(s-x)^2 \} \tag{9} fβ​(s;x,b)≡zβ​(x,b)1​exp{−β∣s∣−2bβ​(s−x)2}(9)

若随机变量$Z$的概率密度函数为$f_{\beta }(\cdot ;x,b)$，那么定义其均值和方差为

$$F_{\beta }(x;b)\equiv {\mathbb{E}}_{f_{\beta }(\cdot ;x,b)}(Z),G_{\beta }(x;b)\equiv {\text{Var}}_{f_{\beta }(\cdot ;x,b)}(Z)\text{\hspace{1em}(10)}$$

式(7)和式(8)是一样的，只是少了$\beta$项。论文中做了假设认为方差项${\hat{\tau }}_{a\to i}^t$独立于因子图的边$(i,a)$，其实这里看得不是很清楚，顺便一提，有其它的论文推导认为方差项对边的依赖是借助大数定律和中心极限定理取消的（在大系统极限下）。

引理2：假设在第t次迭代，从因子节点 { a } \{a\} {a}到变量节点 { i } \{i\} {i}的消息${\hat{\nu }}_{a\to i}^t={\hat{\varphi }}_{a\to i}^t$（${\hat{\varphi }}_{a\to i}^t$在引理1中定义过），参数$z_{a\to i}^t$的定义与引理1保持一致，根据假设方差项${\hat{\tau }}_{a\to i}^t$独立于因子图的边$(i,a)$，所以指定${\hat{\tau }}_{a\to i}^t={\hat{\tau }}^t$，那么对$t+1$次迭代，消息从变量节点 { i } \{i\} {i}传递到因子节点 { a } \{a\} {a}表示为
$$\begin{gathered} {\nu }_{i\to a}^{t+1}(s_i)={\varphi }_{i\to a}^{t+1}(s_i)\cdot (1+\mathcal{O}(\frac{s_i^2}{n})) \\ {\varphi }_{i\to a}^{t+1}(s_i)\equiv f_{\beta }(s_i;\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t,{\hat{\tau }}^t)\text{\hspace{1em}(11)} \end{gathered}$$

对于消息分布${\nu }_{i\to a}^{t+1}(s_i)$，依据式(10)，指定其均值$x_{i\to a}^{t+1}={\mathbb{E}}_{{\nu }_{i\to a}^{t+1}(s_i)}[s_i]$，方差${\tau }_{i\to a}^{t+1}={\text{Var}}_{i\to a}[s_i]$，则
$$\begin{gathered} x_{i\to a}^{t+1}=F_{\beta }(\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t;{\hat{\tau }}^t) \\ {\tau }_{i\to a}^{t+1}=\beta \cdot G_{\beta }(\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t;{\hat{\tau }}^t)\text{\hspace{1em}(12)} \end{gathered}$$

证明：式(11)是依据式(4)中给定的和积算法直接写出来的，即

$$\begin{array}{rl}{\nu }_{i\to a}^{t+1}(s_i)& \cong e^{-\beta |s_i|}\prod _{b\ne a}{\hat{\nu }}_{b\to i}^t(s_i)\\ & =exp\{-\beta |s_i|-\sum _{b\ne a}\frac{\beta }{2{\hat{\tau }}^t}(A_{bi}{s}_i-z_{b\to i}^t{)}^2\}\\ & \cong exp\{-\beta |s_i|-\frac{\beta }{2{\hat{\tau }}^t}(\frac{n-1}{n}{s}_i^2-2s_i\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t)\}\end{array}\text{\hspace{1em}(13)}$$

当$n\to \infty$时，结合式(13)和式(9,10)，可以直接推出式(12)。注意到，式(13)能推出来的前提是方差项${\hat{\tau }}_{a\to i}^t$不依赖于因子图的边$(i,a)$，所有边的方差项都是统一的。

下面对消息传递的步骤做个总结：
步骤1：如下图所示，变量节点 { i } \{i\} {i}到因子节点 { a } \{a\} {a}的消息${\nu }_{i\to a}^t(s_i)$，该消息分布的均值为${\mathbb{E}}_{{\nu }_{j\to a}^t(s_i)}[s_j]=x_{j\to a}^t$，方差为${\text{Var}}_{{\nu }_{j\to a}^t(s_i)}[s_j]=\frac{{\tau }_{j\to a}^t}{\beta }$，我们可以理解此时消息${\nu }_{i\to a}^t(s_i)$将其1，2阶矩送至因子节点。

步骤2：如下图所示，从因子节点 { a } \{a\} {a}到变量节点 { i } \{i\} {i}的消息${\hat{\nu }}_{a\to i}^{t+1}(s_i)$，借助中心极限定理被近似为高斯分布，具体来讲，就是近似为式(6)${\hat{\varphi }}_{a\to i}^{t+1}(s_i)$的形式，被其1，2阶矩唯一确定。要注意，中心极限定理是作用在随机变量$Z=y_a-{\sum }_{j\ne i}{A}_{aj}{s}_j$上的，其中的随机变量$s_1,s_2,\text{...},s_{i-1},s_{i+1},\text{...},s_N$服从的分布分别为${\nu }_{1\to a}^t(s_1),\text{...},{\nu }_{(i-1)\to a}^t(s_{i-1}),{\nu }_{(i+1)\to a}^t(s_{i+1}),\text{...},{\nu }_{N\to a}^t(s_N)$，根据步骤1，当前因子节点已经收到了这些分布的1，2阶矩，也就可以据此直接计算出近似后高斯分布的均值和方差（根据式(8)）。本质上来讲，根据中心极限定理近似的分布显式地应该写为${\hat{\varphi }}_{a\to i}^{t+1}(Z)\equiv {\hat{\varphi }}_{a\to i}^{t+1}(A_{ai}{s}_i)$，但因为$A_{ai}$是给定的，所以可以写为式(6)${\hat{\varphi }}_{a\to i}^{t+1}(s_i)$的形式。

步骤3：回过头来看“下一次步骤1”（注意迭代次数从$t$变为了$t+1$），变量节点 { i } \{i\} {i}到因子节点 { a } \{a\} {a}的消息${\nu }_{i\to a}^{t+1}(s_i)$，根据和积算法，即式(4)中的第一个表达式，可以把${\nu }_{i\to a}^{t+1}(s_i)$写为是拉普拉斯分布与一些高斯分布的乘积（那些步骤2输出对应的所有消息的积），该表达式在形式上与式(9)给出的函数是一样的，在此基础上，根据式(10)或者式(12)又可以算出来消息分布${\nu }_{i\to a}^{t+1}(s_i)$的均值和方差，依次循环迭代即可。

将上面的步骤用数学语言描述，

$$\begin{gathered} z_{a\to i}^t\equiv y_a-\sum _{j\ne i}{A}_{aj}{x}_{j\to a}^t \\ {x}_{i\to a}^{t+1}=F_{\beta }(\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t;{\hat{\tau }}^t) \\ {\hat{\tau }}^{t+1}=\frac{\beta }{n}\sum _{i=1}^N{G}_{\beta }(\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t;{\hat{\tau }}^t)\text{\hspace{1em}(14)} \end{gathered}$$

式(14)中的$z_{a\to i}^t$是送到因子节点的均值，根据式(7)以及$A\text{A}A$的假设可以认为步骤1和步骤2的方差项是统一的，这就是为什么式(14)中省略了送到因子节点的消息的方差。

（3）拉普拉斯分布参数的极限近似($\beta \to \infty$)

对$\forall \beta$，式(14)已经是简化了的信念传播表达式，但是考虑当$\beta \to \infty$时，式(3)中给出的信号$s\text{s}s=[s_1,s_2,\text{...},s_N{]}^T$的联合概率分布函数对应的的峰值就是基追踪(BP)问题的解。考虑如下软阈值函数(soft threshold function)

$$\eta (x;b)=\{\begin{array}{rl}& x-bifx>b\\ & 0if-b\le x\le b\\ & x+bifx<-b\end{array}\text{\hspace{1em}(15)}$$

软阈值函数与下式是等价的,

$$\eta (x;b)=\underset{s\in \mathbb{R}}{\mathrm{argmin}}\{|s|+\frac{1}{2b}(s-x{)}^2\}\text{\hspace{1em}(16)}$$

当$\beta \to \infty$时，有如下引理，

引理3：若$x,b$有界，则

$$\begin{gathered} \underset{\beta \to \infty }{\lim }{F}_{\beta }(x;b)=\eta (x;b) \\ \underset{\beta \to \infty }{\lim }\beta G_{\beta }(x;b)=b{\eta }^{{}^{\prime }}(x;b)\text{\hspace{1em}(17)} \end{gathered}$$

对引理3的证明论文只用了简短的文字叙述，看得也不太清楚，这里暂且略过，并且这并没有影响下一部分从消息传递到AMP的推导。基于引理3，可以把式(14)转化为

$$\begin{gathered} z_{a\to i}^t\equiv y_a-\sum _{j\ne i}{A}_{aj}{x}_{j\to a}^t \\ {x}_{i\to a}^{t+1}=\eta (\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t;{\hat{\tau }}^t) \\ {\hat{\tau }}^{t+1}=\frac{{\hat{\tau }}^t}{\delta N}\sum _{i=1}^N{\eta }^{{}^{\prime }}(\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t;{\hat{\tau }}^t)\text{\hspace{1em}(18)} \end{gathered}$$

（4）从消息传递到AMP

注意到，即使式(18)对消息的传递过程做了简化，在计算时，每次迭代依然需要$2nN$条边消息的传递，为了进一步降低复杂度，考虑将边的消息传递转化为节点的消息迭代。假设消息可以通过如下方式近似，

$$\begin{gathered} x_{i\to a}^t=x_i^t+\delta x_{i\to a}^t+\mathcal{O}(\frac{1}{N}) \\ {z}_{a\to i}^t=z_a^t+\delta z_{a\to i}^t+\mathcal{O}(\frac{1}{N})\text{\hspace{1em}(19)} \end{gathered}$$

其中$\delta x_{i\to a}^t,\delta z_{a\to i}^t=\mathcal{O}(\frac{1}{\sqrt{N}})$（这里认为$\mathcal{O}(\cdot )$的误差在所有边上都是统一的）。考虑一般的消息传递算法形式

$$\begin{gathered} z_{a\to i}^t\equiv y_a-\sum _{j\ne i}{A}_{aj}{x}_{j\to a}^t \\ {x}_{i\to a}^{t+1}={\eta }_t(\sum _{b\ne a}{A}_{bi}{z}_{b\to i}^t;{\hat{\tau }}^t)\text{\hspace{1em}(20)} \end{gathered}$$

这里的 { η t ( ⋅ ) } t ∈ N \{\eta_t(\cdot)\}_{t \in \mathbb N} {ηt​(⋅)}t∈N​是一组可微的非线性函数，而且其一阶导有界。事实上，这里只要求非线性函数${\eta }_t$是Lipschitz连续的，所以即使式(17,18)中的$\eta$函数在$b,-b$两个点不可导，但是也没关系。为了便于分析，对可微的${\eta }_t(\cdot )$函数，有如下引理

引理4：如果对式(20)中的消息传递算法，式(19)的近似成立，那么节点的消息$x_i^t,z_a^t$满足如下等式，

$$\begin{gathered} x_i^{t+1}={\eta }_t(\sum _a{A}_{ia}{z}_a^t+x_i^t)+o_N(1) \\ {z}_a^t=y_a-\sum _j{A}_{aj}{x}_j^t+\frac{1}{\delta }{z}_a^{t-1}<{\eta }_{t-1}^{{}^{\prime }}(A^T{z}^{t-1}+x^{t-1})>+o_N(1) \end{gathered}$$

证明：将(20)代入(19)，
首先对于传入变量节点的均值$z_{a\to i}^t$，
$$\begin{array}{rl}{z}_{a\to i}^t& =y_a-\sum _{j\in [N]}{A}_{aj}{x}_j^t+\delta y_a-\delta \sum _{j\in [N]}{A}_{aj}{x}_j^t+A_{ai}{x}_i^t+\mathcal{O}(\frac{1}{N})\\ & =(1+\delta )y_a-\sum _{j\in [N]}{A}_{aj}{x}_j^t-\delta \sum _{j\in [N]}{A}_{aj}{x}_j^t+A_{ai}{x}_i^t+\mathcal{O}(\frac{1}{N})\\ & \to \underset{z_a^t}{\underbrace{y_a-\sum _{j\in [N]}{A}_{aj}{x}_j^t-\delta \sum _{j\in [N]}{A}_{aj}{x}_j^t}}+\underset{\delta z_{a\to i}^t}{\underbrace{A_{ai}{x}_i^t}}\end{array}\text{\hspace{1em}(21)}$$

然后对于传入因子节点的均值$x_{i\to a}^{t+1}$，借助一阶的Taylor展开得到

$$\begin{array}{rl}{x}_{i\to a}^{t+1}& ={\eta }_t(\sum _{b\in [n]}{A}_{bi}{z}_b^t+\sum _{b\in [n]}{A}_{bi}\delta z_{b\to i}^t-A_{ai}{z}_a^t+\mathcal{O}(\frac{1}{N}))\\ & =\underset{x_i^t}{\underbrace{{\eta }_t(\sum _{b\in [n]}{A}_{bi}{z}_b^t+\sum _{b\in [n]}{A}_{bi}\delta z_{b\to i}^t)}}\underset{\delta x_{i\to a}^t}{\underbrace{-A_{ai}{z}_a^t{\eta }_t^{{}^{\prime }}(\sum _{b\in [n]}{A}_{bi}{z}_b^t+\sum _{b\in [n]}{A}_{bi}\delta z_{b\to i}^t)}}+\mathcal{O}(\frac{1}{N})\end{array}\text{\hspace{1em}(22)}$$

将式(21)中的$\delta z_{a\to i}^t$项代入到式(22)的第一项，得

$$\begin{array}{rl}{x}_i^{t+1}& ={\eta }_t(\sum _{b\in [n]}{A}_{bi}{z}_b^t+\sum _{b\in [n]}{A}_{bi}\delta z_{b\to i}^t)+o(1)\\ & ={\eta }_t(\sum _{b\in [n]}{A}_{bi}{z}_b^t+\sum _{b\in [n]}{A}_{bi}^2{x}_i^t)+o(1)\\ & ={\eta }_t(\sum _{b\in [n]}{A}_{bi}{z}_b^t+x_i^t)+o(1)\end{array}\text{\hspace{1em}(23)}$$

将式(22)的$\delta x_{i\to a}^t$项代入到式(21)的第一项，得

$$\begin{array}{rl}{z}_a^t& =y_a-\sum _{j\in [N]}{A}_{aj}{x}_j^t-\sum _{j\in [N]}{A}_{aj}\delta x_j^t+o(1)\\ & =y_a-\sum _{j\in [N]}{A}_{aj}{x}_j^t+\sum _{j\in [N]}{A}_{aj}^2{z}_a^{t-1}{\eta }_{t-1}^{{}^{\prime }}(\sum _{b\in [n]}{A}_{bi}{z}_b^{t-1}+\sum _{b\in [n]}{A}_{bi}\delta z_{b\to i}^{t-1})+o(1)\\ & =y_a-\sum _{j\in [N]}{A}_{aj}{x}_j^t+\frac{1}{n}\sum _{j\in [N]}{z}_a^{t-1}{\eta }_t^{{}^{\prime }}(\sum _{b\in [n]}{A}_{bi}{z}_b^{t-1}+x_i^{t-1})+o(1)\\ & =y_a-\sum _{j\in [N]}{A}_{aj}{x}_j^t+\frac{1}{\delta }{z}_a^{t-1}<{\eta }_t^{{}^{\prime }}(\sum _{b\in [n]}{A}_{bi}{z}_b^{t-1}+x^{t-1}{s}_i)>+o(1)\end{array}\text{\hspace{1em}(24)}$$

注意到，式(24)推导中的${\eta }_t^{{}^{\prime }}(\cdot )$自变量的变换方式与式(23)${\eta }_t(\cdot )$是一致的。

将引理4的结果写为向量的形式

$$\begin{gathered} {x\text{x}x}^{t+1}=\eta ({A\text{A}A}^T{z\text{z}z}^t+{x\text{x}x}^t;{\hat{\tau }}^t) \\ {z\text{z}z}^t=y\text{y}y-A\text{A}A{x\text{x}x}^t+\frac{1}{\delta }{z\text{z}z}^{t-1}<{\eta }^{{}^{\prime }}({A\text{A}A}^T{z\text{z}z}^{t-1}+{x\text{x}x}^{t-1};{\hat{\tau }}^{t-1})>\text{\hspace{1em}(25)} \end{gathered}$$

依据式(18)，可以写出方差项${\hat{\tau }}^t$的迭代式

$${\hat{\tau }}^t=\frac{{\hat{\tau }}^{t-1}}{\delta }<{\eta }^{{}^{\prime }}({A\text{A}A}^T{z\text{z}z}^{t-1}+{x\text{x}x}^{t-1};{\hat{\tau }}^{t-1})>\text{\hspace{1em}(26)}$$

小结

我们再回顾一下对BP问题的AMP推导思路，最开始根据问题模型画出因子图，因子图中的因子节点（左边）一般表示为似然函数，然后根据标准的和积算法（信念传播算法）写出其消息传递过程。考虑大系统极限$n,N\to \infty$，依据中心极限定理将从因子节点到变量节点的消息先近似为高斯分布，然后再将变量节点到因子节点的消息近似为拉普拉斯分布与一些高斯分布的乘积（如果变量的先验分布已知，将拉普拉斯分布替换为先验分布），据此可以得到简化的信念传播算法。但是这仍然需要每次迭代更新$2nN$条消息，为了进一步简化，将信念传播算法里边消息的传递转化到节点上，即从消息传递到AMP的转换过程，这也是AMP的核心步骤之一。
关于从边上的消息到节点的转换，这里做一个直观但不太严格的的解释，令${\nu }_i^t$为所有到变量节点$s_i$的消息乘积（归一化后），则${\nu }_i^t$为本次迭代下，变量节点$s_i$的边际分布，其均值$x_i^t$为

$$x_i^t\cong \int s_i{\nu }_i^t\text{d}{s}_i\text{\hspace{1em}(27)}$$

而从变量节点$s_i$到因子节点$a$的边消息的均值$x_{i\to a}^t$为

$$x_{i\to a}^t\cong \int s_i\frac{{\nu }_i^t}{{\hat{\nu }}_{a\to i}^t}\text{d}{s}_i\text{\hspace{1em}(28)}$$

注意到${\nu }_i^t={\prod }_{b=1}^n{\hat{\nu }}_{b\to i}^t$，因为${\hat{\nu }}_{b\to i}^t\forall b$已经被近似为高斯分布，若各消息方差相等，则

ν i t ≅ e x p { − α [ ( n − 1 ) ⋅ ( s − μ ) 2 + ( s − μ n ) 2 ] } ≅ e x p { − α ⋅ n ( s − ( n − 1 ) μ + μ n n ) 2 } (29) \begin{aligned} \nu^t_i & \cong exp\{- \alpha [ (n-1) \cdot (s-\mu)^2+(s-\mu_n)^2 ] \} \\ & \cong exp \{ -\alpha \cdot n(s-\frac{(n-1) \mu + \mu_n}{n})^2 \} \end{aligned} \tag{29} νit​​≅exp{−α[(n−1)⋅(s−μ)2+(s−μn​)2]}≅exp{−α⋅n(s−n(n−1)μ+μn​​)2}​(29)
ν i t ν ^ a → i t ≅ e x p { − α [ ( n − 1 ) ⋅ ( s − μ ) 2 ] } (30) \frac{\nu^t_i}{\hat \nu^t_{a \rightarrow i}} \cong exp\{- \alpha [ (n-1) \cdot (s-\mu)^2] \} \tag{30} ν^a→it​νit​​≅exp{−α[(n−1)⋅(s−μ)2]}(30)

其中$\alpha >0$。已知$n\to \infty$，结合式(27,29)可得
$$\begin{gathered} \underset{n\to \infty }{\lim }{x}_i^t=\mu +\mathcal{O}(\frac{1}{\sqrt{n}})=\mu \\ \underset{n\to \infty }{\lim }{x}_{i\to a}^t=\mu \end{gathered}$$

所以事实上，在一次迭代中，边消息的均值趋近于变量节点边际概率的均值，但由于迭代次数较多，为了防止估计误差逐渐累积，采取了$x_{i\to a}^t=x_i^t+\delta x_{i\to a}^t+\mathcal{O}(\frac{1}{N})$的补偿方式来补偿$\mathcal{O}(\frac{1}{\sqrt{N}})/\mathcal{O}(\frac{1}{\sqrt{n}})$的消息（$n,N$同阶）。

[1] D. L. Donoho, A. Maleki and A. Montanari, “Message passing algorithms for compressed sensing: I. motivation and construction,” 2010 IEEE Information Theory Workshop on Information Theory (ITW 2010, Cairo), 2010, pp. 1-5, doi: 10.1109/ITWKSPS.2010.5503193.