MMSE估计（一）：连续随机变量的估计

【本文内容摘自"Signals, Systems and Inferences"之"8.1-Estimation of a Continuous Random Variable", by Alan V.Oppenheim and George C.Verghese, 2010.】

连续随机变量的MMSE估计

首先，我们假定对随机变量$Y$感兴趣想要估计它的值，但我们只知道它的概率密度函数（PDF）。随后，我们把讨论扩展到我们知道另外一个随机变量$X$的测量或者观察结果，也知道$X$和$Y$的联合概率密度函数的情况。

• 只有$Y$的PDF可知的情况

$$\mathrm{E}\left\{(Y-\hat{y}{)}^2\right\}=\int (y-\hat{y}{)}^2{p}_Y(y)dy$$

将上式对$\hat{y}$求导且令导数等于零，可以得到
$$-2\int (y-\hat{y})p_Y(y)dy=0(1)$$
或者
$$\int \hat{y}{p}_Y(y)dy=\int y{p}_Y(y)dy$$
因此，
y ^ = E { y } . ( 2 ) \hat y={\rm E}\{y\}. \qquad \qquad(2) y^​=E{y}.(2)

$\mathrm{E}\left\{(Y-\hat{y}{)}^2\right\}$关于$\hat{y}$的二次导数为
$$2\int p_Y(y)dy=2$$
结果为正，因此(2)给出了最小化MSE时的$\hat{y}$值。显然，(1)中的MMSE就是$Y$的方差，即
min ⁡ E { ( Y − y ^ ) 2 } = E { ( Y − E { Y } ) 2 } = σ Y 2 \min {\rm E}\left\{ (Y-\hat{y})^2 \right\}={\rm E}\left\{ (Y-{\rm E}\{Y\})^2 \right\}=\sigma_Y^2 minE{(Y−y^​)2}=E{(Y−E{Y})2}=σY2​

• 与$Y$有关随机变量X的测量值或观察值可知的情况

由于有了关于$X$的额外的测量，我们用后验概率密度函数$p_{Y|X}(y|x)$代替$p_Y(y)$。

因此，我们的目标是最小化(3)式
E [ { Y − y ^ ( x ) } 2 ∣ X = x ] = ∫ { y − y ^ ( x ) } 2 p Y ∣ X ( y ∣ x ) d y ( 3 ) {\rm E}[\{ Y-\hat{y}(x)\}^2|X=x ]=\int\{y-\hat{y}(x)\}^2p_{Y|X}(y|x)dy \qquad \qquad (3) E[{Y−y^​(x)}2∣X=x]=∫{y−y^​(x)}2pY∣X​(y∣x)dy(3)
这里为我们的估计引入了$\hat{y}(x)$，从而表明通常来说它将依赖于特定的$x$值。与无测量的情况时候相同，我们可以得到
$$\hat{y}(x)=\mathrm{E}[Y|X=x]$$
与之相关的MMSE为条件方差${\sigma }_{Y|X}^2$。因而与无测量时候的唯一区别在于，我们现在将测量值作为条件。
再进一步，如果我们有多个测量值，$X_1=x_1,X_2=x_2,\dots ,X_L=x_L$，我们采用后验概率密度
$$P_{Y|X_1,X_2,\dots ,X_L}(y|x_1,x_2,\dots ,x_L)$$

【结论】
$$\hat{y}(x)=\int y{p}_{Y|\mathbf{X}}(y|\mathbf{X}=\mathbf{x})=\mathrm{E}[Y|\mathbf{X}=\mathbf{x}$$
其对应的MMSE为条件方差${\sigma }_{Y|\mathbf{X}}^2$。

例：二元高斯随机变量的MMSE估计

两个随机变量$X$和$Y$被称为具有二元高斯联合PDF，如果对其归一化之后得到随机变量
$$V=\frac{X-{\mu }_x}{{\sigma }_X},W=\frac{Y-{\mu }_Y}{{\sigma }_Y}$$
满足
p V , W ( v , w ) = 1 2 π 1 − ρ 2 exp ⁡ { − v 2 − 2 ρ v w + w 2 2 ( 1 − ρ 2 ) } p_{V,W}(v,w)=\frac{1}{2\pi \sqrt{1-\rho^2}}\exp \{-\frac{v^2-2\rho v w+w^2}{2(1-\rho^2)}\} pV,W​(v,w)=2π1−ρ2 ​1​exp{−2(1−ρ2)v2−2ρvw+w2​}
其中$\rho =\frac{{\sigma }_{XY}}{{\sigma }_X{\sigma }_Y}$为$X$、$Y$的相关系数，而$C_{XY}=\mathrm{E}[XY]-{\mu }_X{\mu }_Y$为$X$、$Y$的协方差。

下面考虑给定$X=x$时$Y$的MMSE估计，即$\hat{y}(x)$，可以得到
$$\hat{y}(x)=\mathrm{E}[Y|X=x]$$
或者
$$\hat{y}(x)=\mathrm{E}\left\{({\sigma }_{Y}W+{\mu }_Y)|V=\frac{x-{\mu }_X}{{\sigma }_X}\right\}={\sigma }_Y\mathrm{E}\left\{W|V=\frac{x-{\mu }_x}{{\sigma }_X}\right\}+{\mu }_Y.$$

由于
$$p_{W|V}(w|v)=\frac{1}{\sqrt{2\pi (1-p^2)}}\exp \left\{-\frac{(w-\rho v{)}^2}{2(1-{\rho }^2)}\right\}.$$
即均值为$\rho v$，因此
$$\hat{y}(x)={\mu }_Y+{\sigma }_Y\rho v={\mu }_Y+\rho \frac{{\sigma }_Y}{{\sigma }_X}(x-{\mu }_X).$$

我们来看此时的最小MSE，即
E { [ Y − y ^ ( x ) ] 2 ∣ X = x } {\rm E}\{[Y-\hat y(x)]^2|{\bf X}=x\} E{[Y−y^​(x)]2∣X=x}
为$p_{Y|\mathbf{X}}(y|\mathbf{X}=x)$的方差，又由于$p_{Y|\mathbf{X}}(y|\mathbf{X}=x)={\sigma }_Y{p}_{W|\mathbf{V}}(w|\mathbf{V}=v)$且$p_{W|\mathbf{V}}(w|\mathbf{V}=v)$的方差为$1-{\rho }^2$，因此
E { [ Y − y ^ ( x ) ] 2 ∣ X = x } = σ Y 2 ( 1 − ρ 2 ) . {\rm E}\{[Y-\hat y(x)]^2|{\bf X}=x\}=\sigma^2_Y(1-\rho^2). E{[Y−y^​(x)]2∣X=x}=σY2​(1−ρ2).