VAMP由浅入深（Part-3：状态演进分析数学基础（续））

考虑一般的收敛结论

对任意维度 $N$，给定一个正交阵$\mathbf{V}\in {\mathbb{R}}^{N\times N}$，以及一个初始向量${\mathbf{u}}_0\in {\mathbb{R}}^N$，同时给定两个“干扰”向量（所谓“干扰”向量，不含贬义，这里确实不太知道该怎么翻译比较好）：
$${\mathbf{w}}_p=(w_1^p,\dots ,w_n^p),{\mathbf{w}}^q=(w_1^q,\dots ,w_n^q)$$
其中$w_n^p\in {\mathbb{R}}^{n_p}$，$w_n^q\in {\mathbb{R}}^{n_q}$。构造以下迭代公式：
$$\begin{array}{rl}{\mathbf{p}}_k& =\mathbf{V}{\mathbf{u}}_k\\ {\alpha }_{1k}& =<{f\text{f}f}_p^{\prime }({\mathbf{p}}_k,{\mathbf{w}}_p,{\gamma }_{1k})>,{\gamma }_{2k}={\Gamma }_1({\gamma }_{1k},{\alpha }_{1k})\\ {\mathbf{v}}_k& =C_1({\alpha }_{1k})\left[{f\text{f}f}_p({\mathbf{p}}_k,{\mathbf{w}}^p,{\gamma }_{1k})-{\alpha }_{1k}{\mathbf{p}}_k\right]\\ {\mathbf{q}}_k& ={\mathbf{V}}^T{\mathbf{v}}_k\\ {\alpha }_{2k}& =<{f\text{f}f}_q^{\prime }({\mathbf{q}}_k,{\mathbf{w}}_q,{\gamma }_{2k})>,{\gamma }_{1,k+1}={\Gamma }_2({\gamma }_{2k},{\alpha }_{2k})\\ {\mathbf{u}}_{k+1}& =C_2({\alpha }_{2k})\left[{f\text{f}f}_q^{}({\mathbf{q}}_k,{\mathbf{w}}_q,{\gamma }_{2k})-{\alpha }_{2k}{\mathbf{q}}_k\right]\end{array}\text{\hspace{1em}(91)}$$

向量${\mathbf{u}}_0$和标量${\gamma }_{10}$需要初始化得到，函数${f\text{f}f}_p,{f\text{f}f}_q$是元素可分的，即
$$\begin{gathered} {\left[{f\text{f}f}_p(\mathbf{p},{\mathbf{w}}^p,{\gamma }_1)\right]}_n=f_p(p_n,w_n^p,{\gamma }_1) \\ {\left[{f\text{f}f}_q(\mathbf{q},{\mathbf{w}}^q,{\gamma }_1)\right]}_n=f_q(q_n,w_n^q,{\gamma }_1)\text{\hspace{1em}(92)} \end{gathered}$$

我们假设${\mathbf{u}}_0,{\mathbf{w}}^p,{\mathbf{w}}^q$都是确定的序列，其块成分经验收敛于
lim ⁡ N → ∞ { u 0 n } = P L ( 2 ) U 0 (93) \lim_{N \rightarrow \infty} \{ u_{0n} \} \overset{PL(2)}{=} U_0 \tag{93} N→∞lim​{u0n​}=PL(2)U0​(93)

lim ⁡ N → ∞ { w n p } = P L ( 2 ) W p ,   lim ⁡ N → ∞ { w n q } = P L ( 2 ) W q (94) \lim_{N \rightarrow \infty} \{ w^p_n \} \overset{PL(2)}{=} W^p , \ \lim_{N \rightarrow \infty} \{ w^q_n \} \overset{PL(2)}{=} W^q \tag{94} N→∞lim​{wnp​}=PL(2)Wp, N→∞lim​{wnq​}=PL(2)Wq(94)

此外，我们假设初始化的常数${\gamma }_{10}$收敛为
$$\underset{N\to \infty }{\lim }{\gamma }_{10}={\bar{\gamma }}_{10}\text{\hspace{1em}(95)}$$

假设矩阵$\mathbf{V}\in {\mathbb{R}}^{N\times N}$均匀分布在正交阵集合中，且独立于${\mathbf{u}}_0,{\mathbf{w}}^p,{\mathbf{w}}^q$。而且${\mathbf{u}}_0,{\mathbf{w}}^p,{\mathbf{w}}^q$都是确定的，唯一的随机项只剩矩阵$\mathbf{V}$。
在上述这些假设下，定义状态演进方程：
α ˉ 1 k = E [ f p ′ ( P k , W p , γ ˉ 1 k ) ] τ 2 k = C 1 2 ( α ˉ 1 k ) { E [ f p 2 ( P k , W p , γ ˉ 1 k ) ] − α ˉ 1 k 2 τ 1 k } γ ˉ 2 k = Γ 1 ( γ ˉ 1 k , α ˉ 1 k ) α ˉ 2 k = E [ f q ′ ( Q k , W q , γ ˉ 2 k ) ] τ 1 , k + 1 = C 2 2 ( α ˉ 2 k ) { E [ f q 2 ( Q k , W q , γ ˉ 2 k ) ] − α ˉ 2 k 2 τ 2 k } γ 1 , k + 1 = Γ 2 ( γ ˉ 2 k , α ˉ 2 k ) (96) \begin{aligned} \bar {\alpha}_{1k} &= \mathbb E \left [ f^{\prime}_p(P_k, W^p, \bar {\gamma}_{1k}) \right ] \\ \tau_{2k} &= C^2_1(\bar {\alpha}_{1k}) \{ \mathbb E \left [ f^{2}_p(P_k, W^p, \bar {\gamma}_{1k}) \right ] - \bar {\alpha}^2_{1k} \tau_{1k} \} \\ \bar {\gamma}_{2k} &= \Gamma_1( \bar {\gamma}_{1k}, \bar {\alpha}_{1k} ) \\ \bar {\alpha}_{2k} &= \mathbb E \left [ f^{\prime}_q(Q_k, W^q, \bar {\gamma}_{2k}) \right ] \\ \tau_{1,k+1} &= C^2_2(\bar {\alpha}_{2k})\{ \mathbb E \left [ f^{2}_q(Q_k, W^q, \bar {\gamma}_{2k}) \right ] -\bar {\alpha}^2_{2k} \tau_{2k} \} \\ \gamma_{1,k+1} &= \Gamma_2(\bar \gamma_{2k}, \bar \alpha_{2k}) \end{aligned} \tag{96} αˉ1k​τ2k​γˉ​2k​αˉ2k​τ1,k+1​γ1,k+1​​=E[fp′​(Pk​,Wp,γˉ​1k​)]=C12​(αˉ1k​){E[fp2​(Pk​,Wp,γˉ​1k​)]−αˉ1k2​τ1k​}=Γ1​(γˉ​1k​,αˉ1k​)=E[fq′​(Qk​,Wq,γˉ​2k​)]=C22​(αˉ2k​){E[fq2​(Qk​,Wq,γˉ​2k​)]−αˉ2k2​τ2k​}=Γ2​(γˉ​2k​,αˉ2k​)​(96)

其中所求的期望是关于随机变量
$$P_k\sim \mathcal{N}(0,{\tau }_{1k}),Q_k\sim \mathcal{N}(0,{\tau }_{2k})$$

定理4：考虑式（91）中的迭代式和式（96）中的状态演进方程。另外，对每一次迭代$k$，假设以下三个条件成立：
（1）当$i=1,2$时，函数
$$C_i({\alpha }_i),{\Gamma }_i({\gamma }_i,{\alpha }_i)$$

在点$({\gamma }_i,{\alpha }_i)=({\bar{\gamma }}_{ik},{\bar{\alpha }}_{ik})$（由状态演进得到）处连续；
（2）当${\gamma }_1={\bar{\gamma }}_{1k}$时，函数$f_p^{}(p,w^p,{\gamma }_1)$及其一阶导$f_p^{\prime }(p,w^p,{\gamma }_1)$在$(p,w_p)$处均匀Lipschitz连续（uniformly Lipschitz continuous）；
（3）当${\gamma }_2={\bar{\gamma }}_{2k}$时，函数$f_q^{}(q,w^q,{\gamma }_2)$及其一阶导$f_q^{\prime }(q,w^q,{\gamma }_1)$在$(q,w_q)$处均匀Lipschitz连续（uniformly Lipschitz continuous）；
那么有如下结论：
（a）对任意给定的$k$， $({\mathbf{w}}^p,{\mathbf{p}}_0,\dots ,{\mathbf{p}}_k)$的块成分几乎经验收敛为
lim ⁡ N → ∞ { ( w n p , p 0 n , … , p k n ) } = P L ( 2 ) ( W p , P 0 , … , P k ) (97) \lim_{N \rightarrow \infty} \{ (w^p_n,p_{0n},\ldots,p_{kn}) \} \overset{PL(2)}{=} (W^p,P_0,\ldots,P_k) \tag{97} N→∞lim​{(wnp​,p0n​,…,pkn​)}=PL(2)(Wp,P0​,…,Pk​)(97)

其中$W^p$是式（94）极限条件下的随机变量，$(P_0,\dots ,P_k)$是一个零均值的高斯随机向量，独立于$W^p$，且$\mathbb{E}[P_k^2]={\tau }_{1k}$，此外我们有
$$\underset{N\to \infty }{\lim }({\alpha }_{1k},{\gamma }_{1k})=({\bar{\alpha }}_{1k},{\bar{\gamma }}_{1k})\text{\hspace{1em}(98)}$$

（b）对任意给定的$k$， $({\mathbf{w}}^q,{\mathbf{q}}_0,\dots ,{\mathbf{q}}_k)$的块成分几乎经验收敛为
lim ⁡ N → ∞ { ( w n q , q 0 n , … , q k n ) } = P L ( 2 ) ( W q , Q 0 , … , Q k ) (99) \lim_{N \rightarrow \infty} \{ (w^q_n,q_{0n},\ldots,q_{kn}) \} \overset{PL(2)}{=} (W^q,Q_0,\ldots,Q_k) \tag{99} N→∞lim​{(wnq​,q0n​,…,qkn​)}=PL(2)(Wq,Q0​,…,Qk​)(99)

其中$W^q$是式（94）极限条件下的随机变量，$(Q_0,\dots ,Q_k)$是一个零均值的高斯随机向量，独立于$W^q$，且$\mathbb{E}[Q_k^2]={\tau }_{2k}$，此外我们有
$$\underset{N\to \infty }{\lim }({\alpha }_{2k},{\gamma }_{2k})=({\bar{\alpha }}_{2k},{\bar{\gamma }}_{2k})\text{\hspace{1em}(100)}$$

对定理4的证明

证明方法

采用数学归纳法。给定迭代次数$k,l\ge 0$，定义假设条件$H_{k,l}$：
定理（4）中的（a）到$k$是成立的；
定理（4）中的（b）到$l$是成立的。
数学归纳法的证明将考虑以下三个部分：
（1）$H_{0,-1}$正确
（2）若$H_{k,k-1}$正确，则$H_{k,k}$正确
（3）若$H_{k,k}$正确，则$H_{k+1,k}$正确

对初始条件的确认

要说明$H_{0,-1}$是正确的，就是要说明式（97）和（98）在$k=0$时成立。根据引理5，对任意维度$N$，令$\mathbf{U}={\mathbf{I}}_N$，令$\mathbf{x}={\mathbf{p}}_0$。因为${\mathbf{p}}_0=\mathbf{V}{\mathbf{u}}_0$ ($\mathbf{V}$服从Haar分布)，则
$$\underset{N\to \infty }{\lim }{\Vert {\mathbf{p}}_0\Vert }^2=\underset{N\to \infty }{\lim }{\Vert {\mathbf{u}}_0\Vert }^2=\mathbb{E}[U_0^2]={\tau }_{10}$$

又因为${\mathbf{p}}_0=\mathbf{U}{\mathbf{p}}_0$，根据引理5，${\mathbf{p}}_0$的块成分经验收敛为：
lim ⁡ N → ∞ { p 0 n } = P L ( 2 ) P 0 ∼ N ( 0 , τ 10 ) \lim_{N \rightarrow \infty} \{p_{0n}\} \overset{PL(2)}{=} P_0 \sim \mathcal N(0, \tau_{10}) N→∞lim​{p0n​}=PL(2)P0​∼N(0,τ10​)

结合式（94），
lim ⁡ N → ∞ { w n p , p 0 n } = P L ( 2 ) ( W p , P 0 ) \lim_{N \rightarrow \infty} \{ w^p_n, p_{0n} \} \overset {PL(2)}{=} (W^p, P_0) N→∞lim​{wnp​,p0n​}=PL(2)(Wp,P0​)

其中$W^p$独立于$P_0$，这说明了式（97）在$k=0$时成立。
在式（95）中，我们假设${\lim }_{N\to \infty }{\gamma }_{10}\to {\bar{\gamma }}_{10}$，此外，当${\gamma }_1={\bar{\gamma }}_{10}$时，$f_p^{\prime }(p,w^p,{\gamma }_1)$在点$(p,w^p)$处满足均匀Lipschitz连续，因此
$${\alpha }_{1k}=<{f\text{f}f}_p^{\prime }({\mathbf{p}}_k,{\mathbf{w}}_p,{\gamma }_{1k})>\to \mathbb{E}\left[f_p^{\prime }(P_k,W^p,{\bar{\gamma }}_{1k})\right]={\bar{\alpha }}_{1k}$$

这说明了式（98）在$k=0$时成立。

数学归纳的推导

该部分要证明$H_{k,k-1}⟹H_{k,k}$（$H_{k,k-1}⟹H_{k,k}$的证明类似）。因此我们固定$k$，并假设$H_{k,k-1}$成立。
因为${\Gamma }_1({\gamma }_i,{\alpha }_i)$在点$({\bar{\gamma }}_{1k},{\bar{\gamma }}_{1k})$连续，结合式（98）和式（96）中的${\bar{\gamma }}_{2k}={\Gamma }_1({\bar{\gamma }}_{1k},{\bar{\alpha }}_{1k})$可得
$$\underset{N\to \infty }{\lim }{\gamma }_{2k}=\underset{N\to \infty }{\lim }{\Gamma }_1({\gamma }_{1k},{\alpha }_{1k})={\bar{\gamma }}_{2k}$$

另外，我们知道， ∀ l ∈ { 0 , … , k } \forall l \in \{0, \ldots, k \} ∀l∈{0,…,k}，$({\mathbf{w}}^p,{\mathbf{p}}_l)$的块成分几乎经验收敛为
lim ⁡ N → ∞ { ( w n p , p l n ) } = P L ( 2 ) ( W p , P l ) \lim_{N \rightarrow \infty} \{ (w^p_n,p_{ln}) \} \overset{PL(2)}{=} (W^p,P_l) N→∞lim​{(wnp​,pln​)}=PL(2)(Wp,Pl​)

其中$P_l\sim \mathcal{N}(0,{\tau }_{1l})$，${\tau }_{1l}$由状态演进方程确定。又因为$f_P(\cdot )$为Lipschitz连续函数，且$C_1({\alpha }_{1l})$在点${\bar{\alpha }}_{1l}$处连续，因此
lim ⁡ N → ∞ { ( w n p , p l n , v l n ) } = P L ( 2 ) ( W p , P l , V l ) \lim_{N \rightarrow \infty} \{ (w^p_n,p_{ln}, v_{ln}) \} \overset{PL(2)}{=} (W^p,P_l, V_l) N→∞lim​{(wnp​,pln​,vln​)}=PL(2)(Wp,Pl​,Vl​)

其中$V_l$是随机变量，
$$V_l={\mathrm{g}}_p(P_l,W_p,{\bar{\gamma }}_{1l},{\bar{\alpha }}_{1l})\text{\hspace{1em}(101)}$$

其中，
$${\mathrm{g}}_p(p,w^p,{\gamma }_1,{\alpha }_1):=C_1({\alpha }_1)\left[f_p(p,w^p,{\gamma }_1)-{\alpha }_{1}p\right]\text{\hspace{1em}(102)}$$

类似地，我们有，

lim ⁡ N → ∞ { ( w n q , q l n , v l n ) } = P L ( 2 ) ( W q , q l , V l ) \lim_{N \rightarrow \infty} \{ (w^q_n,q_{ln}, v_{ln}) \} \overset{PL(2)}{=} (W^q,q_l, V_l) N→∞lim​{(wnq​,qln​,vln​)}=PL(2)(Wq,ql​,Vl​)

其中$V_l$是随机变量，
$$U_l={\mathrm{g}}_q(Q_l,W_q,{\bar{\gamma }}_{2l},{\bar{\alpha }}_{2l})\text{\hspace{1em}(103)}$$

其中，
$${\mathrm{g}}_q(q,w^q,{\gamma }_1,{\alpha }_1):=C_2({\alpha }_2)\left[f_q(q,w^q,{\gamma }_2)-{\alpha }_{2}q\right]\text{\hspace{1em}(104)}$$

定义
$$\mathbf{U}:=[{\mathbf{u}}_0,\dots ,{\mathbf{u}}_k]\in {\mathbb{R}}^{N\times (k+1)}$$

${\mathbf{V}}_k,{\mathbf{P}}_k,{\mathbf{Q}}_k$也做类似定义，让$G_k$表示这些矩阵的元组（$G_k$可简单理解为$k$次迭代为止的事件）
G k ≔ { U k , P k , V k , Q k − 1 } (105) G_k \coloneqq \{ \boldsymbol U_k, \boldsymbol P_k, \boldsymbol V_k, \boldsymbol Q_{k-1}\} \tag{105} Gk​:={Uk​,Pk​,Vk​,Qk−1​}(105)

此外，我们还把$G_k$理解为是这些变量的$\sigma -\text{algebra}$（理解为所有可能集合的一组排列即可）。集合(105)包含了算法（91）在第$k$次迭代${\mathbf{q}}_k={\mathbf{V}}^T{\mathbf{v}}_k$之前的所有输出。
定义
$${\mathbf{A}}_k:=[{\mathbf{P}}_k{\mathbf{V}}_{k-1}],{\mathbf{B}}_k:=[{\mathbf{U}}_k,{\mathbf{Q}}_{k-1}]\text{\hspace{1em}(106)}$$

则，根据式（91），有
$${\mathbf{A}}_k=\mathbf{V}{\mathbf{B}}_k\text{\hspace{1em}(107)}$$

由引理4可得，
$$\mathbf{V}{|}_{G_k}\stackrel{d}{=}{\mathbf{A}}_k({\mathbf{A}}_k^T{\mathbf{A}}_k{)}^{-1}{\mathbf{B}}_k^T+{\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}\tilde{\mathbf{V}}{\mathbf{U}}_{{\mathbf{B}}_k^{\perp }}^T\text{\hspace{1em}(108)}$$

把式（108）代入到算法（91）在第$k$次迭代${\mathbf{q}}_k={\mathbf{V}}^T{\mathbf{v}}_k$，表示为
$${\mathbf{q}}_k={\mathbf{V}}^T{\mathbf{v}}_k={\mathbf{q}}_k^{\text{det}}+{\mathbf{q}}_k^{\text{ran}}\text{\hspace{1em}(109)}$$

其中${\mathbf{q}}_k^{\text{det}}$是确定的项
$${\mathbf{q}}_k^{\text{det}}={\mathbf{B}}_k({\mathbf{A}}_k^T{\mathbf{A}}_k{)}^{-1}{\mathbf{A}}_k^T{\mathbf{v}}_k\text{\hspace{1em}(110)}$$

${\mathbf{q}}_k^{\text{ran}}$是随机的项
$${\mathbf{q}}_k^{\text{ran}}={\mathbf{U}}_{{\mathbf{B}}_k^{\perp }}\widetilde{{\mathbf{V}}^T}{\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}^T{\mathbf{v}}_k\text{\hspace{1em}(111)}$$

下面将要阐述的引理6、7、8会解释式（110）和式（111）的逼近分布。

引理6：在$H_{k,k-1}$的假设成立下，存在常数 ${\beta }_{k,0},\dots ,{\beta }_{k,k-1}$，使得$({\mathbf{q}}_0,\dots ,{\mathbf{q}}_{k-1},{\mathbf{q}}_k^{\text{det}})$的块成分经验收敛为
lim ⁡ N → ∞ { w n q , q 0 n , … , q k − 1 , n , q k n det } = P L ( 2 ) ( W q , Q 0 , … , Q k − 1 , Q k d e t ) (112) \lim_{N \rightarrow \infty} \{ w^q_n,q_{0n},\ldots,q_{k-1,n} ,q_{kn}^{\text{det}}\} \overset{PL(2)}{=}(W^q,Q_0,\ldots,Q_{k-1},Q^{det}_k) \tag{112} N→∞lim​{wnq​,q0n​,…,qk−1,n​,qkndet​}=PL(2)(Wq,Q0​,…,Qk−1​,Qkdet​)(112)

其中 $Q_l,l=0,\dots ,k-1$是高斯随机变量（由式99可知），且
$$Q_k^{\text{det}}={\beta }_{k0}{Q}_0+\dots +{\beta }_{k,k-1}{Q}_{k-1}\text{\hspace{1em}(113)}$$

证明：使用式（106）的定义
$${\mathbf{A}}_k^T{\mathbf{A}}_k=\left[\begin{array}{cc}{\mathbf{P}}_k^T{\mathbf{P}}_k& {\mathbf{P}}_k^T{\mathbf{V}}_{k-1}\\ {\mathbf{V}}_{k-1}^T{\mathbf{P}}_k& {\mathbf{V}}_{k-1}^T{\mathbf{V}}_{k-1}\end{array}\right]$$

对${\mathbf{P}}_k^T{\mathbf{P}}_k$，有
$$\underset{N\to \infty }{\lim }\frac{1}{N}{\left[{\mathbf{P}}_k^T{\mathbf{P}}_k\right]}_{ij}=\frac{1}{N}{\mathbf{p}}_i^T{\mathbf{p}}_j=\frac{1}{N}\sum _{n=1}^N{p}_{in}{p}_{jn}\stackrel{b}{=}\mathbb{E}[P_i{P}_j]\stackrel{c}{=}[{\mathbf{Q}}_k^p{]}_{ij}$$

其中（b）是根据式（97），（c）：${\mathbf{Q}}_k^p$指协方差矩阵。
类似地，我们定义
$$\underset{N\to \infty }{\lim }\frac{1}{N}{\mathbf{V}}_{k-1}^T{\mathbf{V}}_{k-1}={\mathbf{Q}}_k^v$$

对于${\mathbf{A}}_k^T{\mathbf{A}}_k$中的交叉项：
$$\begin{array}{rl}\mathbb{E}[V_i{P}_j]& \stackrel{a}{=}\mathbb{E}[{\mathrm{g}}_p(P_i,W^p,{\bar{\gamma }}_{1i},{\bar{\alpha }}_{1i})P_j]\\ & \stackrel{b}{=}\mathbb{E}[{\mathrm{g}}_p^{\prime }(P_i,W^p,{\bar{\gamma }}_{1i},{\bar{\alpha }}_{1i})P_j]\mathbb{E}[P_i{P}_j]\\ & \stackrel{c}{=}\mathbb{E}[P_i{P}_j]\left[\mathbb{E}[f_p^{\prime }(P_i,W^p,{\bar{\gamma }}_{1i})]-{\bar{\alpha }}_{1i}\right]\\ & \stackrel{d}{=}0\end{array}$$

其中，（a）是因为式（101），（b）是依据Stein引理，（c）是直接依据式（102），（d）是依据式（96）。
因此，
$$\underset{N\to \infty }{\lim }\frac{1}{N}{\mathbf{A}}_k^T{\mathbf{A}}_k\stackrel{a.s.}{=}\left[\begin{array}{cc}{\mathbf{Q}}_k^p& 0\\ 0& {\mathbf{Q}}_{k-1}^v\end{array}\right]\text{\hspace{1em}(114)}$$

通过类似的计算，还可以得到
$$\underset{N\to \infty }{\lim }{\mathbf{A}}_k^T{\mathbf{v}}_k=\left[\begin{array}{c}0\\ {\mathbf{b}}_k^v\end{array}\right]\text{\hspace{1em}(115)}$$
其中
$${\mathbf{b}}_k^v=[\mathbb{E}[V_0{V}_k],\mathbb{E}[V_1{V}_k],\dots ,\mathbb{E}[V_{k-1}{V}_k]{]}^T\text{\hspace{1em}(116)}$$

据此可得
$$\underset{N\to \infty }{\lim }\frac{1}{N}({\mathbf{A}}_k^T{\mathbf{A}}_k{)}^{-1}{\mathbf{A}}_k^T{\mathbf{v}}_k\stackrel{a.s.}{=}\left[\begin{array}{c}0\\ {\mathbf{\beta }}_k\end{array}\right]\text{\hspace{1em}(117)}$$

其中
$${\mathbf{\beta }}_k:=[{\mathbf{Q}}_{k-1}^v{]}^{-1}{\mathbf{b}}_k^v$$

因此
$$\begin{array}{rl}{\mathbf{q}}_k^{\text{det}}& ={\mathbf{B}}_k({\mathbf{A}}_k^T{\mathbf{A}}_k{)}^{-1}{\mathbf{A}}_k^T{\mathbf{v}}_k\\ & =[{\mathbf{U}}_k,{\mathbf{Q}}_{k-1}]\left[\begin{array}{c}0\\ {\mathbf{\beta }}_k\end{array}\right]+\mathbf{\xi }\\ & =\sum _{l=0}^{k-1}{\beta }_{kl}{\mathbf{q}}_l+\mathbf{\xi }\end{array}\text{\hspace{1em}(118)}$$

其中 $\mathbf{\xi }$ 表示收敛结果与真实值之间的误差，表示为
$$\mathbf{\xi }={\mathbf{B}}_k\mathbf{s},\mathbf{s}:=({\mathbf{A}}_k^T{\mathbf{A}}_k{)}^{-1}{\mathbf{A}}_k^T{\mathbf{v}}_k-\left[\begin{array}{c}0\\ {\mathbf{\beta }}_k\end{array}\right]\text{\hspace{1em}(119)}$$

可以证明，${\lim }_{N\to \infty }\frac{1}{N}{\Vert \mathbf{\xi }\Vert }^2\to 0$，因此
lim ⁡ N → ∞ { w n q , q 0 n , … , q k − 1 , n , q k n det } = P L ( 2 ) ( W q , Q 0 , … , Q k − 1 , Q k d e t ) \lim_{N \rightarrow \infty} \{ w^q_n,q_{0n},\ldots,q_{k-1,n} ,q_{kn}^{\text{det}}\} \overset{PL(2)}{=}(W^q,Q_0,\ldots,Q_{k-1},Q^{det}_k) N→∞lim​{wnq​,q0n​,…,qk−1,n​,qkndet​}=PL(2)(Wq,Q0​,…,Qk−1​,Qkdet​)

引理7：在$H_{k,k-1}$的假设条件下，
$$\underset{N\to \infty }{\lim }\frac{1}{N}{\Vert {\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}^T{\mathbf{s}}_k\Vert }^2={\rho }_k\text{\hspace{1em}(120)}$$

证明：
$$\begin{array}{rl}{\Vert {\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}^T{\mathbf{s}}_k\Vert }^2& ={\mathbf{s}}_k^T{\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}{\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}^T{\mathbf{s}}_k\\ & ={\mathbf{s}}_k^T(I\text{I}I-{\mathbf{U}}_{{\mathbf{A}}_k^{}}{\mathbf{U}}_{{\mathbf{A}}_k^{}}^T){\mathbf{s}}_k\\ & ={\mathbf{s}}_k^T{\mathbf{s}}_k-{\mathbf{s}}_k^T{\mathbf{A}}_k({\mathbf{A}}_k^T{\mathbf{A}}_k{)}^{-1}{\mathbf{A}}_k^T{\mathbf{s}}_k\\ ⟹\underset{N\to \infty }{\lim }\frac{1}{N}{\Vert {\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}^T{\mathbf{s}}_k\Vert }^2& =\mathbb{E}[S_k^2]-({\mathbf{b}}_k^s{)}^T[{\mathbf{Q}}_k^s{]}^{-1}{\mathbf{b}}_k^s(:={\rho }_k)\end{array}$$

引理8：在$H_{k,k-1}$的假设条件下，有
lim ⁡ N → ∞ { ( w 0 q , q 0 n , … , q k − 1 , n , q k n ran ) } = P L ( 2 ) ( W q , Q 0 , … , Q k − 1 , U k ) (121) \lim_{N \rightarrow \infty} \{ (w^q_0, q_{0n},\ldots,q_{k-1,n}, q^{\text{ran}}_{kn}) \} \overset{PL(2)}{=} (W^q, Q_0, \ldots, Q_{k-1}, U_k) \tag{121} N→∞lim​{(w0q​,q0n​,…,qk−1,n​,qknran​)}=PL(2)(Wq,Q0​,…,Qk−1​,Uk​)(121)

其中$U_k\sim \mathcal{N}(0,{\rho }_k)$，独立于$(W^q,Q_0,\dots ,Q_{k-1})$。
证明：（直接应用引理5）
令$\mathbf{x}={\tilde{\mathbf{V}}}^T{\mathbf{U}}_{{\mathbf{A}}_k^{\perp }}^T{\mathbf{v}}_k$，那么
$${\mathbf{q}}_k^{\text{ran}}={\mathbf{U}}_{{\mathbf{B}}_k^{\perp }}{\mathbf{x}}_k$$
根据引理5即可直接证得
$${\mathbf{q}}_k^{\text{ran}}\sim \mathcal{N}(0,{\rho }_k)$$

结合引理6和引理8，可以得到
lim ⁡ N → ∞ { ( w 0 q , q 0 n , … , q k − 1 , n , q k n ) } = P L ( 2 ) lim ⁡ N → ∞ { ( w 0 q , q 0 n , … , q k − 1 , n , q k n det + q k n ran ) } = P L ( 2 ) ( W q , Q 0 , … , Q k − 1 , Q k ) } \begin{aligned} & \lim_{N \rightarrow \infty} \{ (w^q_0, q_{0n},\ldots,q_{k-1,n}, q^{\text{}}_{kn}) \} \\ & \overset{PL(2)}{=} \lim_{N \rightarrow \infty} \{ (w^q_0, q_{0n},\ldots,q_{k-1,n}, q^{\text{det}}_{kn}+q^{\text{ran}}_{kn}) \} \\ & \overset{PL(2)}{=}(W^q, Q_0, \ldots, Q_{k-1}, Q_k) \} \end{aligned} ​N→∞lim​{(w0q​,q0n​,…,qk−1,n​,qkn​)}=PL(2)N→∞lim​{(w0q​,q0n​,…,qk−1,n​,qkndet​+qknran​)}=PL(2)(Wq,Q0​,…,Qk−1​,Qk​)}​

其中$Q_k$是随机变量，满足
$$Q_k^{}={\beta }_{k0}{Q}_0+\dots +{\beta }_{k,k-1}{Q}_{k-1}+U$$

因为$(Q_0,\dots ,Q_{k-1})$都是高斯的，并且$U_k$也是高斯，因此$(W^q,Q_0,\dots ,Q_{k-1},Q_k)$全是高斯。这也就证明了式（99）。

最后，我们证明状态演进方程中的$\mathbb{E}[Q_k^2]={\tau }_{2k}$：
E [ Q k 2 ] = a lim ⁡ N → ∞ 1 N ∥ q k ∥ 2 = b lim ⁡ N → ∞ 1 N ∥ v k ∥ 2 = c E [ g p 2 ( P l , W p , γ ˉ 1 k , α ˉ 1 k ) ] = d C 1 2 ( α ˉ 1 k ) E [ ( f p ( p , w p , γ ˉ 1 k ) − α ˉ 1 k P k ) 2 ] = C 1 2 ( α ˉ 1 k ) { E [ f p 2 ( p , w p , γ ˉ 1 k ) ] − 2 α ˉ 1 k E [ P k f p ( p , w p , γ ˉ 1 k ) ] + α ˉ 1 k 2 E [ P k 2 ] } = e C 1 2   ( α ˉ 1 k ) { E [ f p 2 ( p , w p , γ ˉ 1 k ) ] − 2 α ˉ 1 k τ 1 k E [ f p ′ ( p , w p , γ ˉ 1 k ) ] + α ˉ 1 k 2 τ 1 k } = f C 1 2   ( α ˉ 1 k ) { E [ f p 2 ( p , w p , γ ˉ 1 k ) ] − α ˉ 1 k 2 τ 1 k } = e τ k \begin{aligned} \mathbb E[Q^2_k] & \overset{a}{=} \lim_{N \rightarrow \infty} \frac{1}{N} {\Vert\boldsymbol q_k \Vert}^2 \\ & \overset{b}{=} \lim_{N \rightarrow \infty} \frac{1}{N} {\Vert\boldsymbol v_k \Vert}^2 \\ & \overset{c}{=} \mathbb E[ \mathrm{g}^2_p(P_l, W_p, \bar \gamma_{1k}, \bar \alpha_{1k})] \\ & \overset{d}{=} C^2_1(\bar \alpha_{1k}) \mathbb E \left [ (f_p(p, w^p,\bar \gamma_{1k}) - \bar \alpha_{1k} P_k \right)^2] \\ & \overset{}{=} C^2_1(\bar \alpha_{1k}) \{ \mathbb E[ f^2_p(p, w^p,\bar \gamma_{1k}) ] - 2 \bar \alpha_{1k} \mathbb E[ P_k f_p(p, w^p,\bar \gamma_{1k}) ] + \bar \alpha^2_{1k} \mathbb E[P^2_k] \} \\ & \overset{e}{=} C^2_1 \ (\bar \alpha_{1k}) \{ \mathbb E[ f^2_p(p, w^p,\bar \gamma_{1k}) ] - 2 \bar \alpha_{1k} \tau_{1k} \mathbb E[ f^{\prime}_p(p, w^p,\bar \gamma_{1k}) ] + \bar \alpha^2_{1k} \tau_{1k}\} \\ & \overset{f}{=}C^2_1 \ (\bar \alpha_{1k}) \{ \mathbb E[ f^2_p(p, w^p,\bar \gamma_{1k}) ] - \bar \alpha^2_{1k} \tau_{1k} \} \\ & \overset{e}{=} \tau_k \end{aligned} E[Qk2​]​=aN→∞lim​N1​∥qk​∥2=bN→∞lim​N1​∥vk​∥2=cE[gp2​(Pl​,Wp​,γˉ​1k​,αˉ1k​)]=dC12​(αˉ1k​)E[(fp​(p,wp,γˉ​1k​)−αˉ1k​Pk​)2]=C12​(αˉ1k​){E[fp2​(p,wp,γˉ​1k​)]−2αˉ1k​E[Pk​fp​(p,wp,γˉ​1k​)]+αˉ1k2​E[Pk2​]}=eC12​ (αˉ1k​){E[fp2​(p,wp,γˉ​1k​)]−2αˉ1k​τ1k​E[fp′​(p,wp,γˉ​1k​)]+αˉ1k2​τ1k​}=fC12​ (αˉ1k​){E[fp2​(p,wp,γˉ​1k​)]−αˉ1k2​τ1k​}=eτk​​

其中（a）是因为${\mathbf{q}}_k$经验收敛于$Q_k$，（b）是依据式（91），（c）依据式（101），（e）依据Stein引理，（f）依据式（96）。因此$\mathbb{E}[Q_k^2]={\tau }_{2k}$，这也就完成了$H_{k,k-1}⟹H_{k,k}$的证明。

这部分的小结

在前一篇章的基础上，该篇章的主要结论为定理4，它描述了算法（91）在迭代过程中的一些项（${\mathbf{p}}_k,{\mathbf{q}}_k$）的分布会始终保持零均值的高斯分布，这对之后理解VAMP的状态演进分析是重要的。但是，也可以看出，这部分的证明十分繁琐，并且严格建立在Part-2的基础之上（Part-2也需要对矩阵的一些性质有一定理解）。如果认为不容易理解，可以跳过Part-2和Part-3，关注Part-1和后续内容。也许我也只是把理解这些内容看作一种执念，但最起码在推导和撰写的过程中，有了一些不起眼的认识。