AWGN后验估计下的均值与方差关系（标量）

AWGN信道模型

考虑一个随机变量$x\sim p_X(x)$，信道模型为

$$q=x+v,v\sim \mathcal{N}(0,\mu )$$

已知观测值$q$，将后验估计的均值表示为$F_{in}(q,\mu )=\mathbb{E}[x|q]$，方差表示为${\mathcal{E}}_{in}(q,\mu )=\text{Var}[x|q]$。

后验均值与方差的关系

后验均值$F_{in}(q,\mu )$与方差${\mathcal{E}}_{in}(q,\mu )$满足如下关系式

$$\frac{\partial }{\partial q}{F}_{in}(q,\mu )=\frac{1}{\mu }{\mathcal{E}}_{in}(q,\mu )$$

证明：对$\mu >0$，定义函数

$$A_r(q)=\int x^r{p}_X(x)\varphi (q-x;\mu )\mathrm{d}xr=0,1,2,\dots$$

其中$\varphi (q-x;\mu )$表示似然分布$p_{Q|X}$，均值为$x$方差为$\mu$的高斯分布，即

$$\varphi (q-x;\mu )\equiv \mathcal{N}(x,\mu )$$

特殊地，先考虑$A_0(q)$

$$\begin{array}{rl}{A}_0(q)& =\int p_X(x)\varphi (q-x;\mu )\mathrm{d}x\\ & =\int p_X(x)p_{Q|X}(q|x)\mathrm{d}x\\ & =p_Q(q)\end{array}$$

根据期望的定义，可以写出

$$F_{in}(q,\mu )=\frac{A_1(q)}{A_0(q)}$$

根据$\text{Var[w]}=\mathbb{E}[w^2]-\mathbb{E}[w{]}^2$，可以写出

$${\mathcal{E}}_{in}(q,\mu )=\frac{A_2(q)}{A_0(q)}-\frac{A_1^2(q)}{A_0^2(q)}$$

对高斯分布求导可得

$$\frac{\partial }{\partial q}\varphi (q-x;\mu )=\frac{x-q}{\mu }\varphi (q-x;\mu )$$

基于此，再对$A_r(q)$求导可得

$$\frac{\partial }{\partial q}{A}_r(q)=\frac{1}{\mu }(A_{r+1}(q)-q{A}_r(q))$$

因此，

$$\begin{array}{rl}\frac{\partial }{\partial q}{F}_{in}(q,\mu )& =\frac{\partial }{\partial q}\frac{A_1(q)}{A_0(q)}\\ & =\frac{(A_2(q)-q{A}_1(q))A_0(q)-(A_1(q)-q{A}_0(q))A_1(q)}{\mu A_0^2(q)}\\ & =\frac{A_2(q)}{A_0(q)}-\frac{A_1^2(q)}{A_0^2(q)}\\ & =\frac{1}{\mu }{\mathcal{E}}_{in}(q,\mu )\end{array}$$

证毕。

总结

其实直接想的话也不难想出来，只需要记住对积分外求导也就是对积分内求导。更重要的应该是直接记住这个结论。