统计信号处理：(估计二) 最小方差无偏估计

最小方差无偏估计

2.1 无偏估计量

​ 无偏估计意味着估计量的平均值为未知参数的真值。如果
$$E[\hat{\theta }]=\theta ,a<\theta <b$$
说明估计量$\hat{\theta }$​是无偏估计量。

---

​ 例：白色高斯噪声中DC电平的无偏估计量

观测值$$x[n]=A+w[n]n=0,1,...,N-1$$

观测值中的参数A即所需估计的DC电平。取合理的估计量为:
$$\hat{A}=\frac{1}{N}\sum _{n=0}^{N-1}x[n]$$

估计量的期望为：
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ E(\hat{A})&=E[…

---

​ 无偏估计量只是保证估计量的平均值为真值，相比于有偏估计量不存在系统误差。但是在多个无偏估计量的情况下，可以用多个估计量的平均获得更好的估计。
KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \hat{\theta}&=…
​ 所以求平均的估计越多，其均值会收敛到真值，且估计量的方差越小。

​ 但是如果估计量为有偏估计$E(\hat{\theta })=\theta +b(\theta )$，那么无论对多少估计量求平均，都不会收敛到真值。

估计量的偏差：$b(\theta )=E(\hat{\theta })-\theta$​

​ 为了从多个无偏估计量中选择出最佳估计量，可以采用一些最佳准则。

​ 均方误差(mean square error,MSE)表示的是估计量偏离真值的平方偏差的统计平均值，由估计量的方差和偏差导致的误差组成。
$$\begin{gathered} mse(\hat{\theta })=E[(\hat{\theta }-\theta {)}^2] \\ =var(\hat{\theta })+[E(\hat{\theta })-\theta {]}^2 \\ =var(\hat{\theta })+b^2(\theta ) \end{gathered}$$
​ 但是如果让均方误差对修正常数求导，寻找出最小均方误差时可以发现估计量修正常数与真值有关，说明估计量是不可实现的。因此在实际运用中，需要放弃最小MSE估计。选择另外一种方法使得约束偏差为零，从而求出使得方差最小的估计量，这样得到的估计量称为最小方差无偏估计(minimum variance unbiased,MVU)

​ MVU的存在性：MVU表明它的方差相对其它所有估计量的方差是最小的，如果存在一个估计量的方差小于MVU的，说明MVU不存在。针对下图，可以说a图存在MVU，而b图不存在MVU。

求最小方差无偏估计量MVU

​ 即使MVU存在，一般也很难求出。下面给出了一些可能求出的方法：

1. 确定Cramer-Rao下限(CRLB)，然后检查估计量是否满足CRLB；
2. 应用Rao-Blackwell-lehmann-Scheffe(RBLS)定理；
3. 进一步限制估计不仅是无偏，而且还是线性的，在这些限制中找出MVU。

扩展到适量参数

​ 如果$\theta \text{θ}\theta =[{\theta }_1,{\theta }_2,...,{\theta }_p]$是未知参数矢量，那么估计量$\widehat{\theta \text{θ}\theta }=[{\hat{\theta }}_1,{\hat{\theta }}_2,...,{\hat{\theta }}_p]$​如果满足
$$E({\hat{\theta }}_i)={\theta }_i$$
则说明估计量为无偏估计，那么该估计量具有$E(\widehat{\theta \text{θ}\theta })=\theta \text{θ}\theta$。同样对于MVU，对该参数矢量中任意一个参数都有$var({\hat{\theta }}_i)$都是最小的。