估计理论(1)：最小方差无偏估计(第2章）

本文为《Steven M. Kay, Fundamentals of Statistical Signal Processing:Estimation Theory》一书的第2章。

1、无偏估计量

  对未知参数进行估计，得到估计量。而所谓无偏估计，是指估计量的均值，等于未知参数的真值，即对未知参数$\theta$，有
$$\mathrm{E}(\hat{\theta })=\theta ,a<\theta <b，\text{\hspace{1em}(2.1)}$$那么估计量是无偏的。

真值是确定的，估计量却是随机的，每次估计得到一个样本。因此无偏估计就是，估计量的均值等于真值。

---

【例2.1】AWGN中DC电平的无偏估计。
考虑观测
$$x[n]=A+w[n]n=0,1,\dots ,N-1$$其中$A$是要估计的参数，$w[n]$是AWGN。参数$A$可以取$-\infty <A<\infty$上的任何值。那么，$x[n]$的一个合理估计是
$$\hat{A}=\frac{1}{N}\sum _{n=0}^{N-1}x[n],\text{\hspace{1em}(2.2)}$$即样本的均值。进一步，我们有
$$\begin{array}{rl}\mathrm{E}(\hat{A})& =\mathrm{E}\left[\frac{1}{N}\sum _{n=0}^{N-1}x[n]\right]\\ & =\frac{1}{N}\sum _{n=0}^{N-1}\mathrm{E}(x[n])\\ & =A\end{array}$$因此，用样本均值作为估计量，是无偏的。

---

 The restriction that $\mathrm{E}(\hat{\theta })=\theta$ for all $\theta$ is an important one. Letting $\hat{\theta }=g(\mathbf{x})$, where $\mathbf{x}={\left[x[0],x[1],\dots ,x[N-1]\right]}^T$, it asserts that
$$\mathrm{E}(\hat{\theta })=\int g(\mathbf{x})p(\mathbf{x};\theta )d\mathbf{x}=\theta \mathrm{f}\mathrm{o}\mathrm{r}\mathrm{a}\mathrm{l}\mathrm{l}\theta .\text{\hspace{1em}(2.3)}$$It is possible, however, that (2.3) may hold for some values of $\theta$ and not others, as the next example illustrate.

Example 2.2-Biased Estimator for DC Level in White Noise
Consider again Example 2.1 but with the modified sample mean estimator
$$\check{A}=\frac{1}{2N}\sum _{n=0}^{N-1}x[n].$$Then
$$\mathrm{E}(\check{A})=\frac{1}{2}$$