MMSE估计（二）：从估计到估计器

【本文内容摘自"Signals, Systems and Inferences"之"8.2-From Estimate to an Estimator", by Alan V.Oppenheim and George C.Verghese, 2010.】
  上面我们得到对于特定的$X=x$，有
$$\hat{y}(x)=\mathrm{E}\left[Y|X=x\right].$$
然而，尽管$X$是随机变量，但其取值$x$不是，因此$\hat{y}(x)$也不是。
  在我们进入更深入的讨论时，我们有必要在估计随机变量和实现估计的步骤间划分出界限。这就好像对于函数的取值和函数本身进行区分。我们把产生估计的过程或者函数称为估计器(estimator)。
  我们用$\hat{y}(X)$来表示MMSE估计器，即
$$\hat{Y}=\hat{y}(\mathbf{X})=\mathrm{E}[Y|\mathbf{X}].$$
注意这里$\mathrm{E}[Y|\mathbf{X}]$表示一个随机变量，而非一个数值。
  给定$\mathbf{X}$时对Y的MMSE估计器将最小化MSE，这是由于MMSE估计器对于每个特定的值$x$，都最小化MSE，即
$$\begin{gathered} {\mathrm{E}}_{Y,\mathbf{X}}\left([Y-\hat{y}(\mathbf{X}){]}^2\right)={\mathrm{E}}_{\mathrm{X}}\left\{{\mathrm{E}}_{Y,\mathbf{X}}\left([Y-\hat{y}(\mathbf{X}){]}^2|\mathbf{X}\right)\right\} \\ ={\int }_{-\infty }^{\infty }{\mathrm{E}}_{Y,\mathbf{X}}\left([Y-\hat{y}(\mathbf{X}){]}^2|\mathbf{X}=\mathbf{x}\right)f_{\mathbf{X}}(\mathbf{x})d\mathbf{x}. \end{gathered}$$
由于估计$\hat{y}(\mathbf{x})$对于$X$的每个值都能够最小化${\mathrm{E}}_{Y|\mathbf{X}}$，因此也能够最小化${\mathrm{E}}_{\mathbf{X}}$，因为$f_{\mathbf{X}}(\mathbf{x})$非负。

正交性
  MMSE估计器的另外一个重要特性时残留误差$Y-\hat{y}(\mathrm{X})$与测量的随机变量的任意函数$h(\mathbf{X})$正交，即
E Y , X { [ Y − y ^ ( X ) ] h ( X ) } = 0. ( 1 ) {\rm E}_{Y,X}\{[Y-\hat y ({\bf X)}]h({\bf X})\}=0.\qquad \qquad (1) EY,X​{[Y−y^​(X)]h(X)}=0.(1)
因此
E Y , X { y ^ ( X ) h ( X ) } = E Y , X { Y h ( X ) } . ( 2 ) {\rm E}_{Y,X}\{\hat y ({\bf X)}h({\bf X})\}={\rm E}_{Y,X}\{Yh({\bf X})\}.\qquad \qquad (2) EY,X​{y^​(X)h(X)}=EY,X​{Yh(X)}.(2)
特别地，选择$h(\mathbf{X})=1$，有
E Y , X { y ^ ( X ) } = E Y { Y } . {\rm E}_{Y,X}\{\hat y ({\bf X)}\}={\rm E}_{Y}\{Y\}. EY,X​{y^​(X)}=EY​{Y}.
因此，估计器被称为无偏的(unbiased)：它的期望值等于估计的随机变量的期望值。我们可以用无偏性来理解（1），即MMSE估计器的估计误差与用来构造估计器的随机变量的任意函数都是无关的。
（2）的证明如下
E Y , X { y ^ ( X ) h ( X ) } = E X [ E Y ∣ X ( Y ∣ X ) h ( X ) } = E X [ E Y ∣ X [ Y h ( X ) ∣ X } = E Y , X { Y h ( X ) } {\rm E}_{Y,X}\{\hat y({\bf X})h({\bf X})\}={\rm E}_{X}[ {\rm E}_{Y|X}(Y|{\bf X})h({\bf X})\}\\={\rm E}_{X}[ {\rm E}_{Y|X}[Yh({\bf X})|{\bf X}\}={\rm E}_{Y,X}\{Yh({\bf X})\} EY,X​{y^​(X)h(X)}=EX​[EY∣X​(Y∣X)h(X)}=EX​[EY∣X​[Yh(X)∣X}=EY,X​{Yh(X)}
由此可以得到（1）中的正交性。