深入浅出GAMP算法（下）：MMSE估计和AWGN场景

前言

在前两篇博客中， 我们分别讲述了消息传递算法的来龙去脉 和 利用 高斯及泰勒展开近似得到的最大后验估计的GAMP版本。 这一篇博客，我们使用类似的推导，整理了在实际中可能更常用的， MMSE 最小均方误差估计版本的 GAMP 算法。

模型背景

我们旨在解决上图这样的问题， 已知输入$\mathbf{q}$ （先验信息）， 已知输出 $\mathbf{y}$（后验信息)， 已知变换矩阵$\mathbf{A}$， 反推出变量$\mathbf{x}$。 以AWGN信道举例：
$$\mathbf{y}=\mathbf{z}+\mathbf{w}=\mathbf{A}\mathbf{x}+\mathbf{w}$$
$\mathbf{y}$已知而我们试图反推出$\mathbf{x}$。 此时， 如果$\mathbf{x}$有一些先验分布信息， 如稀疏分布， 即$\mathbf{x}$中只有少量元素非零， 那么， 便可以通过概率的方式， 以GAMP算法进行求解。

MMSE

上一篇博客中我们写到的 MAP 版本的 GAMP 旨在给出以下的估计量：
$${\hat{\mathbf{x}}}^{\text{map }}:=\underset{\mathbf{x}\in {\mathbb{R}}^n}{\mathrm{argmax}}F(\mathbf{x},\mathbf{z},\mathbf{q},\mathbf{y}),\hat{\mathbf{z}}=\mathbf{A}\hat{\mathbf{x}}$$
即最大化后验概率。 我举一个例子， 比如经过计算得到， $x=0.5$ 的概率是$0.2$， 而$x=0.1$的概率是$0.19$， $x=0.11$的概率是$0.18$， $x=0.09$的概率是$0.17$。 此时， 如果使用最大后验 MAP 估计， 得到的$x$估计结果就是$x=0.5$。 但在这种情况下这就有失偏颇， 因为他完全没有考虑其他情况的概率。 这就有点像通信中的硬判决，一刀切， 因此，综合了所有可能情况的软判决， 可能更显客观， 这也是我们要介绍的MMSE估计， 即：
$${\hat{\mathrm{x}}}^{\mathrm{m}\mathrm{m}\mathrm{s}\mathrm{e}}:=\mathbb{E}[\mathrm{x}\mid \mathrm{y},\mathbf{q}]$$
以期望作为估计值。下面， 我们就推导以MMSE为估计准则的GAMP版本。

回顾下MAP中的消息传递：

在每次迭代中， 实际要计算两个消息算子：
$$\begin{array}{r}{\Delta }_{i\to j}\left(t,x_j\right)=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}+\underset{\mathbf{x}\backslash x_j}{\max }{f}_{\text{out }}\left(z_i,y_i\right)+\sum _{r\ne j}{\Delta }_{i\leftarrow r}\left(t,x_r\right)\end{array}\text{\hspace{1em}(1)}$$
和
$$\begin{array}{r}{\Delta }_{i\leftarrow j}\left(t+1,x_j\right)=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}+f_{\mathrm{i}\mathrm{n}}\left(x_j,q_j\right)+\sum _{\ell \ne i}{\Delta }_{\ell \to j}\left(t,x_j\right)\end{array}\text{\hspace{1em}(2)}$$

注意到(1)式中， 由于是MAP准则， 因此传递的消息里也是求了$\max$后的结果。 然而在MMSE准则下， 我们要传递的消息就变成了：
$${\Delta }_{i\to j}\left(t,x_j\right)=\log \mathbb{E}\left(p_{Y\mid Z}\left(y_i,z_i\right)\mid x_j\right)+\text{ const }\text{\hspace{1em}(3)}$$
和
$${\Delta }_{i\leftarrow j}\left(x_j\right)=\text{ const }+\log p_{X\mid Q}\left(x_j\mid q_j\right)+\sum _{l\ne i}{\Delta }_{l\to j}\left(x_j\right)\text{\hspace{1em}(4)}$$
注意到， 在这个消息传递中， 传递的都是似然信息了， 也就是说有：
$$p_{i\leftarrow r}\left(x_r\right)\propto \exp {\Delta }_{i\leftarrow r}\left(t,x_r\right)$$
值得一提的是， 在(3)中的期望是对随机变量 $z_i={\mathbf{a}}_i^T\mathbf{x}$ 进行求取， 此时 $x_j$ 是 固定的， 而$\mathbf{x}$ 中的其余项， 则服从独立分布 $p_{i\leftarrow r}\left(x_r\right)\propto \exp {\Delta }_{i\leftarrow r}\left(t,x_r\right)$。

和 MAP估计一样，我们最后要得到的估计值也是由下式得出：
$$p_j\left(x_j\right)\propto \exp {\Delta }_j\left(t,x_j\right)$$
其中
$${\Delta }_j\left(t+1,x_j\right)=f_{\mathrm{i}\mathrm{n}}\left(x_j,q_j\right)+\sum _i{\Delta }_{i\to j}\left(t,x_j\right)$$

那么，后续我们就是通过合理的近似， 对消息传递算法进行简化。
类似地， 我们先定义如下变量：
我们需要定义的变量也变为：
$$\begin{array}{rl}{\hat{x}}_j(t)& :=\mathbb{E}\left[x_j\mid {\Delta }_j(t,\cdot )\right]\\ {\hat{x}}_{i\leftarrow j}(t)& :=\mathbb{E}\left[x_j\mid {\Delta }_{i\leftarrow j}(t,\cdot )\right]\\ {\tau }_j^x(t)& :=\mathrm{var}\left[x_j\mid {\Delta }_j(t,\cdot )\right]\\ {\tau }_{i\leftarrow j}^x(t)& :=\mathrm{var}\left[x_j\mid {\Delta }_{i\leftarrow j}(t,\cdot )\right],\end{array}$$
其中${\hat{x}}_j$ 就是我们最后要得到的估计量。

我们先对 (3) 进行近似， 这可以写为：
Δ i → j ( t , x j ) =  const  + log ⁡ ∫ { x r } r ≠ j p Y ∣ Z ( y i ∣ a i j x j + ∑ r ≠ j a i r x r ⏟ ≜ z i ) ∏ r ≠ j e Δ i ← r ( t , x r ) . \begin{aligned} &\Delta_{i \rightarrow j}\left(t, x_{j}\right) \\ &=\text { const }+\log \int_{\left\{x_{r}\right\}_{r \neq j}} p_{Y \mid Z}(y_{i} \mid \underbrace{a_{i j} x_{j}+\sum_{r \neq j} a_{i r} x_{r}}_{\triangleq z_{i}}) \prod_{r \neq j} e^{\Delta_{i \leftarrow r}\left(t, x_{r}\right)} . \end{aligned} ​Δi→j​(t,xj​)= const +log∫{xr​}r​=j​​pY∣Z​(yi​∣≜zi​ aij​xj​+r​=j∑​air​xr​​​)r​=j∏​eΔi←r​(t,xr​).​
而当矩阵维度较大时， 那么，根据中心极限定理， 相互独立的随机变量， 其和 服从 高斯分布， 且均值就是 各自均值之和， 而方差则是各自方差之和， 因此， 有：
$$z_i\mid x_j\sim \mathcal{N}\left(a_{ij}{x}_j+{\hat{p}}_{i\leftarrow j}(t),{\tau }_{i\leftarrow j}^p(t)\right)$$
其中，
$$\begin{array}{rl}{\hat{p}}_{i\to j}(t)& :=\sum _{r\ne j}{a}_{ir}{\hat{x}}_{i\leftarrow r}(t)\\ {\tau }_{i\to j}^p(t)& :=\sum _{r\ne j}{\left|a_{ir}\right|}^2{\tau }_r^x(t)\end{array}$$
那么， 我们进一步就有：
$${\Delta }_{i\to j}\left(t,x_j\right)\approx \text{ const }+\underset{\triangleq H\left(a_{ij}{x}_j+{\hat{p}}_{i\leftarrow j}(t),y_i,{\tau }_{i\leftarrow j}^p(t)\right)}{\underbrace{\log {\int }_{z_i}{p}_{Y\mid Z}\left(y_i\mid z_i\right)\mathcal{N}\left(z_i;a_{ij}{x}_j+{\hat{p}}_{i\leftarrow j}(t),{\tau }_{i\leftarrow j}^p(t)\right)}}\text{\hspace{1em}(5)}$$
这里，我们有：
$$H\left(\hat{p},y,{\mu }^p\right)\triangleq \log \int p_{Y\mid Z}(y\mid z)\mathcal{N}\left(z;\hat{p},{\mu }^p\right)dz$$
(${\mu }^p$ 和${\tau }^p$是一样的）
那么 类似 MAP版本的思路， 接下来我们要把所有$i\leftarrow j$ 项替换掉， 定义变量：
$${\hat{p}}_i(t):=\sum _j{a}_{ij}{\hat{x}}_{i\leftarrow j}(t)={\hat{p}}_{i\to j}+a_{ij}{\hat{x}}_{i\leftarrow j}(t)，{\tau }_i^p(t)=\sum _j{\left|a_{ij}\right|}^2{\tau }_j^x(t)+a_{ij}^2{\tau }_j^x(t)$$
那么，(5)可以被写为
$${\Delta }_{i\to j}\left(t,x_j\right)\approx H\left({\hat{p}}_i(t)+a_{ij}\left(x_j-{\hat{x}}_j\right),y_i,{\tau }_i^p(t)\right)+\text{ const. }$$
可以通过泰勒展开得到：
$$\begin{array}{rl}{\Delta }_{i\to j}(& t,x_j)\approx \text{ const }\\ & +s_i(t)a_{ij}\left(x_j-{\hat{x}}_j(t)\right)-\frac{{\tau }_i^s(t)}{2}{a}_{ij}^2{\left(x_j-{\hat{x}}_j(t)\right)}^2\\ =& \mathrm{const}\left[s_i(t)a_{ij}+a_{ij}^2{\tau }_i^s(t){\hat{x}}_j(t)\right]x_j\\ & -\frac{{\tau }_i^s(t)}{2}{a}_{ij}^2{x}_j^2\end{array}\text{\hspace{1em}(6)}$$
这两个表达式和之前一样，这里的近似是我们忽略了 $O\left(a_{ij}^2\right)$级的项。其中，
$$\begin{array}{rl}{\hat{s}}_i(t)& =g_{\text{out }}\left(t,{\hat{p}}_i(t),y_i,{\tau }_i^p(t)\right)\\ {\tau }_i^s(t)& =-\frac{\partial }{\partial \hat{p}}{g}_{\text{out }}\left(t,{\hat{p}}_i(t),y_i,{\tau }_i^p(t)\right)\end{array}$$
这些都是和MAP版本的定义完全一致， 然而由于$H$函数的不同， $g_{\mathrm{o}\mathrm{u}\mathrm{t}}$的形式也截然不同。 因此，接下来我们要对 $g_{\mathrm{o}\mathrm{u}\mathrm{t}}$进行推导， 也即推导 $H$的一阶导：
$$\begin{array}{rl}& H^{\prime }\left(\hat{p},y,{\mu }^p\right)\\ & =\frac{\partial }{\partial \hat{p}}\log \int p_{Y\mid Z}(y\mid z)\frac{1}{\sqrt{2\pi {\mu }^p}}\exp \left(-\frac{1}{2{\mu }^p}(z-\hat{p}{)}^2\right)dz\\ & =\frac{\partial }{\partial \hat{p}}\left\{\log \frac{1}{\sqrt{2\pi {\mu }^p}}+\log {\int }_z\exp \left(\log p_{Y\mid Z}(y\mid z)-\frac{1}{2{\mu }^p}(z-\hat{p}{)}^2\right)dz\right\}\\ & =\frac{\partial }{\partial \hat{p}}\left\{-\frac{{\hat{p}}^2}{2{\mu }^p}+\log \int \exp \left(\log p_{Y\mid Z}(y\mid z)-\frac{z^2}{2{\mu }^p}+\frac{\hat{p}z}{{\mu }^p}\right)dz\right\}\\ & =-\frac{\hat{p}}{{\mu }^p}+\frac{\partial }{\partial \hat{p}}\log \left[{\mu }^p\int \exp (\varphi (u)+\hat{p}u)du\right]\text{ via }u\triangleq \frac{z}{{\mu }^p}\\ & =-\frac{\hat{p}}{{\mu }^p}+\frac{\partial }{\partial \hat{p}}\log \int \exp (\varphi (u)+\hat{p}u)du\end{array}$$
记 $Z(\hat{p})\triangleq \int \exp (\varphi (u)+\hat{p}u)du$， 我们有如下数学公理：
∂ ∂ p ^ log ⁡ Z ( p ^ ) = E { u ∣ p ^ }  with  p U ∣ P ( u ∣ p ^ ) = exp ⁡ ( ϕ ( u ) + p ^ u ) Z ( p ^ ) ∂ 2 ∂ p ^ 2 log ⁡ Z ( p ^ ) = var ⁡ { u ∣ p ^ }  with  p U ∣ P ( u ∣ p ^ ) = exp ⁡ ( ϕ ( u ) + p ^ u Z ( p ^ ) . \begin{aligned} &\frac{\partial}{\partial \widehat{p}} \log Z(\widehat{p})=\mathrm{E}\{u \mid \widehat{p}\} \text { with } p_{U \mid P}(u \mid \widehat{p})=\frac{\exp (\phi(u)+\hat{p} u)}{Z(\hat{p})} \\ &\frac{\partial^{2}}{\partial \widehat{p}^{2}} \log Z(\widehat{p})=\operatorname{var}\{u \mid \widehat{p}\} \text { with } p_{U \mid P}(u \mid \widehat{p})=\frac{\exp (\phi(u)+\hat{p} u}{Z(\hat{p})} . \end{aligned} ​∂p ​∂​logZ(p ​)=E{u∣p ​} with pU∣P​(u∣p ​)=Z(p^​)exp(ϕ(u)+p^​u)​∂p ​2∂2​logZ(p ​)=var{u∣p ​} with pU∣P​(u∣p ​)=Z(p^​)exp(ϕ(u)+p^​u​.​
可以通过简单的求导法则验证， 这是正确的。 因此，
H ′ ( p ^ , y , μ p ) = − p ^ μ p + ∫ u exp ⁡ ( ϕ ( u ) + p ^ u ) Z ( p ^ ) d u = − p ^ μ p + ∫ z μ p exp ⁡ ( log ⁡ p Y ∣ Z ( y ∣ z ) − z 2 2 μ p + z p ^ μ p ) Z ( p ^ ) d z μ p  via  u ≜ z μ p = − p ^ μ p + 1 μ p ∫ z exp ⁡ ( log ⁡ p Y ∣ Z ( y ∣ z ) − 1 2 μ p ( z − p ^ ) 2 ) μ p Z ( p ^ ) exp ⁡ ( − p 2 2 μ p ) d z = − p ^ μ p + 1 μ p ∫ z p Y ∣ Z ( y ∣ z ) N ( z ; p ^ , μ p ) ∫ p Y ∣ Z ( y ∣ z ˉ ) N ( z ˉ ; p ^ , μ p ) d z ˉ d z = 1 μ p ( E { z ∣ y , p ^ ; μ p } − p ^ ) \begin{aligned} H^{\prime}\left(\widehat{p}, y, \mu^{p}\right) &=-\frac{\widehat{p}}{\mu^{p}}+\int u \frac{\exp (\phi(u)+\widehat{p} u)}{Z(\hat{p})} d u \\ &=-\frac{\widehat{p}}{\mu^{p}}+\int \frac{z}{\mu^{p}} \frac{\exp \left(\log p_{Y \mid Z}(y \mid z)-\frac{z^{2}}{2 \mu^{p}}+\frac{z \widehat{p}}{\mu^{p}}\right)}{Z(\widehat{p})} \frac{d z}{\mu^{p}} \text { via } u \triangleq \frac{z}{\mu^{p}} \\ &=-\frac{\widehat{p}}{\mu^{p}}+\frac{1}{\mu^{p}} \int z \frac{\exp \left(\log p_{Y \mid Z}(y \mid z)-\frac{1}{2 \mu^{p}}(z-\widehat{p})^{2}\right)}{\mu^{p} Z(\widehat{p}) \exp \left(-\frac{p^{2}}{2 \mu^{p}}\right)} d z \\ &=-\frac{\widehat{p}}{\mu^{p}}+\frac{1}{\mu^{p}} \int z \frac{p_{Y \mid Z}(y \mid z) \mathcal{N}\left(z ; \widehat{p}, \mu^{p}\right)}{\int p_{Y \mid Z}(y \mid \bar{z}) \mathcal{N}\left(\bar{z} ; \hat{p}, \mu^{p}\right) d \bar{z}} d z \\ &=\frac{1}{\mu^{p}}\left(\mathrm{E}\left\{z \mid y, \widehat{p} ; \mu^{p}\right\}-\widehat{p}\right) \end{aligned} H′(p ​,y,μp)​=−μpp ​​+∫uZ(p^​)exp(ϕ(u)+p ​u)​du=−μpp ​​+∫μpz​Z(p ​)exp(logpY∣Z​(y∣z)−2μpz2​+μpzp ​​)​μpdz​ via u≜μpz​=−μpp ​​+μp1​∫zμpZ(p ​)exp(−2μpp2​)exp(logpY∣Z​(y∣z)−2μp1​(z−p ​)2)​dz=−μpp ​​+μp1​∫z∫pY∣Z​(y∣zˉ)N(zˉ;p^​,μp)dzˉpY∣Z​(y∣z)N(z;p ​,μp)​dz=μp1​(E{z∣y,p ​;μp}−p ​)​
因此，我们有：
$$g_{\text{out }}\left(\hat{p},y,{\tau }^p\right):=\frac{1}{{\tau }^p}\left({\hat{z}}^0-\hat{p}\right),{\hat{z}}^0:=\mathbb{E}\left(z\mid \hat{p},y,{\tau }^p\right)$$
这也是和MAP区别开的地方。 类似地可以得到：
$$-\frac{\partial }{\partial \hat{p}}{g}_{\text{out }}\left(\hat{p},y,{\tau }^p\right)=\frac{1}{{\tau }^p}\left(1-\frac{\mathrm{var}\left(z\mid \hat{p},y,{\tau }^p\right)}{{\tau }^p}\right)$$
至此， ${\Delta }_{i\to j}$算是可以被近似得到了。 接下来估计${\Delta }_{i\leftarrow j}$， 把(6)的结果代入可得到：
$$\begin{array}{rl}& {\Delta }_{i\leftarrow j}\left(t+1,x_j\right)\approx \mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{t}\\ & +f_{\mathrm{i}\mathrm{n}}\left(x_j,q_j\right)-\frac{1}{2{\tau }_{i\leftarrow j}^r(t)}{\left({\hat{r}}_{i\leftarrow j}(t)-x_j\right)}^2\end{array}$$
其中，
$$\begin{array}{rl}\frac{1}{{\tau }_{i\leftarrow j}^r(t)}& =\sum _{\ell \ne i}{a}_{\ell j}^2{\tau }_{\ell }^s(t)\\ {\hat{r}}_{i\leftarrow j}(t)& ={\tau }_{i\leftarrow j}^r(t)\sum _{\ell \ne i}\left[s_{\ell }(t)a_{\ell j}+a_{\ell j}^2{\tau }_{\ell }^s(t){\hat{x}}_j(t)\right]\\ & ={\hat{x}}_j(t)+{\tau }_{i\leftarrow j}^r(t)\sum _{\ell \ne i}{s}_{\ell }(t)a_{\ell j}\end{array}$$
这步和MAP的步骤是完全一样。接下来，我们注意到：
$$\begin{array}{rl}& p_{{\Delta }_{i\leftarrow j}(t,\cdot )}\left(x_j\right)\propto \exp {\Delta }_{i\leftarrow j}\left(t,x_j\right)\\ & \approx \frac{1}{Z}\exp F_{\mathrm{i}\mathrm{n}}\left(x_j,{\hat{r}}_{i\leftarrow j}(t),q_j,{\tau }_{i\leftarrow j}^r(t)\right)\end{array}$$
其中，
$$F_{\mathrm{i}\mathrm{n}}\left(x,\hat{r},q,{\tau }^r\right):=f_{\mathrm{i}\mathrm{n}}(x,q)-\frac{1}{2{\tau }^r}(\hat{r}-x{)}^2$$
注意到这又是熟悉的高斯分布变量的指数项， 因此，如果定义：
$$g_{\text{in }}\left(\hat{r},q,{\tau }^r\right):=\mathbb{E}[X\mid \hat{R}=\hat{r},Q=q]$$
这里的期望是对变量$$\hat{R}=X+V,V\sim \mathcal{N}\left(0,{\tau }^r\right)$$
进行求取。
则我们有：$${\hat{x}}_{i\leftarrow j}(t+1)=\mathbb{E}\left[x_j\mid {\Delta }_{i\leftarrow j}(t,\cdot )\right]\approx g_{\text{in }}\left({\hat{r}}_{i\leftarrow j}(t),q_j,{\tau }_{i\leftarrow j}^r(t)\right)$$
至此，剩余步骤的推导都和MAP算法一致。 也就是说，两个版本的GAMP算法的不同仅仅体现在$g_{\mathrm{o}\mathrm{u}\mathrm{t}}$ 和 $g_{\mathrm{i}\mathrm{n}}$ 上。 作者做了一个表格用以对比：

由于MMSE 版本 和 MAP 版本高度相似， 这篇的推导写的较为简略。 没有关系， 我们重点聚焦在对GAMP算法的使用之上。 而从 GAMP 算法的 框图之中：

可以看到， 只有 ${\hat{s}}_i$ 即 $g_{\mathrm{o}\mathrm{u}\mathrm{t}}$, ${\tau }_i^s$, ${\hat{x}}_j$即 $g_{\mathrm{i}\mathrm{n}}$ 和 ${\tau }_j^x$ 是需要推导的， 其他的都是流水线无脑操作即可。 接下来我们以实例来展示。

AWGN 场景

我们考虑AWGN输出场景， 即 $y=Ax+n$, 其中 $n\sim \mathcal{C}\mathcal{N}(0,{\tau }_w)$为高斯白噪声。 此时我们有：
$$f_{\text{out }}(z,y):=\log p_{Y\mid Z}(y\mid z)=const+\frac{1}{2{\tau }_w}(z-y{)}^2$$
那么推导MAP版本的 $g_{\mathrm{o}\mathrm{u}\mathrm{t}}$ 为：
$$g_{\mathrm{o}\mathrm{u}\mathrm{t}}=\left({\hat{z}}^0-\hat{p}\right)/{\tau }^p$$
其中
$${\hat{z}}^0:=\arg \underset{z}{\max }{F}_{\text{out }}\left(z,\hat{p},y,{\tau }^p\right)$$
而
$$F_{\text{out }}\left(z,\hat{p},y,{\tau }^p\right):=f_{\text{out }}(z,y)-\frac{1}{2{\tau }^p}(z-\hat{p}{)}^2=-\frac{1}{2{\tau }_w}(z-y{)}^2-\frac{1}{2{\tau }^p}(z-\hat{p}{)}^2$$
那么上式对$z$求导， 得到：
$$(\frac{1}{{\tau }^p}+\frac{1}{{\tau }_w})z=\frac{1}{{\tau }_w}y+\frac{1}{{\tau }^p}\hat{p},$$
因此
$$\begin{gathered} {\hat{z}}^0=\frac{{\tau }^{p}y+{\tau }_w\hat{p}}{{\tau }^p+{\tau }_w} \\ {g}_{\mathrm{o}\mathrm{u}\mathrm{t}}=\frac{y-\hat{p}}{{\tau }^p+{\tau }_w}. \end{gathered}$$
那么很轻易又有：
$$-\frac{\partial }{\partial \hat{p}}{g}_{\text{out }}\left(\hat{p},y,{\tau }^p\right)=\frac{1}{{\tau }^p+{\tau }^w}$$

再考虑 MMSE 版本。 其$g_{\mathrm{o}\mathrm{u}\mathrm{t}}$ 函数定义为：
$$g_{\mathrm{o}\mathrm{u}\mathrm{t}}\left(\hat{p},y,{\tau }^p\right):=\frac{1}{{\tau }^p}\left({\hat{z}}^0-\hat{p}\right),{\hat{z}}^0:=\mathbb{E}\left(z\mid \hat{p},y,{\tau }^p\right)$$
其中， 变量$z$服从分布：
$$p\left(z\mid \hat{p},y,{\tau }^p\right)\propto \exp F_{\text{out }}\left(z,\hat{p},y,{\tau }^p\right)=-\frac{1}{2{\tau }_w}(z-y{)}^2-\frac{1}{2{\tau }^p}(z-\hat{p}{)}^2$$
这里注意到， 事实上式可以看做是两个高斯变量PDF乘积的形式， 而这已有定理， 那就是 上式仍是一个高斯变量的PDF，
即：
$$p\left(z\mid \hat{p},y,{\tau }^p\right)\sim \mathcal{N}\left({\hat{z}}^0,{\tau }^z\right)$$
且均值和方差分别为：
$$\begin{array}{rl}{\hat{z}}^0& :=\hat{p}+\frac{{\tau }^p}{{\tau }^w+{\tau }^p}(y-\hat{p})\\ {\tau }^z& :=\frac{{\tau }^w{\tau }^p}{{\tau }^w+{\tau }^p}\end{array}$$
具体的推导细节可以参考这篇博客 https://blog.csdn.net/chaosir1991/article/details/106910668/.
那么代入到 $g_{\mathrm{o}\mathrm{u}\mathrm{t}}$ 中， 有：
$$g_{\mathrm{o}\mathrm{u}\mathrm{t}}=\frac{y-\hat{p}}{{\tau }^p+{\tau }_w}.$$
因此， 在输出为AWGN的场景下， MAP 和 MMSE 完全等价。

接下来， 同样考虑 输入 也是 AWGN 场景， 即：
$$p_{X\mid Q}(x\mid q)=\mathcal{N}\left(q,{\tau }^{x0}\right)$$
那么根据定义， MAP 版本为：
$$g_{\text{in }}\left(\hat{r},q,{\tau }^r\right):=\underset{x}{\mathrm{argmax}}{F}_{\text{in }}\left(x,\hat{r},q,{\tau }^r\right)$$
其中，
$$F_{\text{in }}\left(x,\hat{r},q,{\tau }^r\right):=f_{\text{in }}(x,q)-\frac{1}{2{\tau }^r}(\hat{r}-x{)}^2=-\frac{1}{2{\tau }^{x0}}(q-x{)}^2-\frac{1}{2{\tau }^r}(\hat{r}-x{)}^2$$
同样， 对$x$求导， 可得：
$$g_{\mathrm{i}\mathrm{n}}\left(\hat{r},q,{\tau }^r\right):=\frac{{\tau }^{x0}}{{\tau }^{x0}+{\tau }^r}(\hat{r}-q)+q$$
也可轻易求得：
$${\tau }^r{g}_{\mathrm{i}\mathrm{n}}^{\prime }\left(\hat{r},q,{\tau }^r\right):=\frac{{\tau }^r}{1-{\tau }^r{f}_{\mathrm{i}\mathrm{n}}^{\prime \prime }(\hat{x},q)}=\frac{{\tau }^{x0}{\tau }^r}{{\tau }^{x0}+{\tau }^r}.$$
而 MMSE 版本中则有：
$$g_{\text{in }}\left(\hat{r},q,{\tau }^r\right):=\mathbb{E}[X\mid \hat{R}=\hat{r},Q=q]$$
其中
$$\hat{R}=X+V,V\sim \mathcal{N}\left(0,{\tau }^r\right)$$
那么 根据贝叶斯公式我们有：
$$p(x|r,q)=\frac{p(r|x)p(x|q)}{p(r)}\propto p(r|x)p(x|q)$$
而右边这个，又正是刚刚说到的： 两个高斯分布PDF之积仍是高斯分布PDF， 其均值方差和上面用到的一样。 具体， 其均值为：
$$g_{\text{in }}\left(\hat{r},q,{\tau }^r\right):=\frac{{\tau }^{x0}}{{\tau }^{x0}+{\tau }^r}(\hat{r}-q)+q.$$
这再次和 MAP 版本一致。 那么也有：
$${\tau }^r{g}_{\mathrm{i}\mathrm{n}}^{\prime }\left(\hat{r},q,{\tau }^r\right):=\frac{{\tau }^{x0}{\tau }^r}{{\tau }^{x0}+{\tau }^r}.$$