估计理论(7)：应用BLUE的两个例子

摘自Steven M. Kay，《Fundamentals of Statistical Signal Processing: Estimation Theory》。
  现在我们知道，BLUE适用于估计噪声中信号的幅度。我们不需要知道完整的PDF，只需要知道一阶、二阶矩就可以了。此时BLUE为
$$\hat{\theta }=\frac{{\mathbf{s}}^{\mathrm{T}}{\mathbf{C}}^{-1}\mathbf{x}}{{\mathbf{s}}^{\mathrm{T}}{\mathbf{C}}^{-1}\mathbf{s}},\text{\hspace{1em}(6.5)}$$最小方差为
$$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{\theta })=\frac{1}{{\mathbf{s}}^{\mathrm{T}}{\mathbf{C}}^{-1}\mathbf{s}}，\text{\hspace{1em}(6.6)}$$其中$E(\mathbf{x})=\mathbf{s}\theta$，$\mathbf{C}$为协方差阵。

例6.1 白噪声中的DC电平
  如果
$$x[n]=A+w[n],n=0,1,\dots ,N-1,$$其中$w[n]$为方差等于${\sigma }^2$的白噪声（注意这里没有指定噪声的分布），下面我们来估计$A$。由于$w[n]$不一定是高斯的，因此噪声的抽样样本即使不相关，也可能不独立。

注意独立是指联合概率密度等于分量概率密度乘积，即
$$p_{XY}(x,y)=p_X(x)p_Y(y),$$要求很高。而相关只是均值的关系，即
$$E(XY)=E(X)E(Y).$$因此独立一定相关，反过来则不一定。

  由于$E(x[n])=A$（这里应该是$w[n]$的均值为0，书中没有提），因此(6.4)中的$s[n]=1$，即$\mathbf{s}=1$。同时，$\mathbf{C}={\sigma }^2\mathbf{I}$，因此得到BLUE为
$$\hat{A}=\frac{1^{\mathrm{T}}\frac{1}{{\sigma }^2}\mathbf{I}\mathbf{x}}{1^{\mathrm{T}}\frac{1}{{\sigma }^2}\mathbf{I}1}=\frac{1}{N}\sum _{n=0}^{N-1}x[n]=\bar{x}\text{\hspace{1em}(6.5)}$$具有最小方差
$$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{A})=\frac{1}{1^T\frac{1}{{\sigma }^2}1}=\frac{{\sigma }^2}{N}.$$
因此，不管噪声的分布如何，BLUE是样本均值。此外，如果噪声是高斯分布的话，如前面讨论的，则BLUE就是MVU估计。

例6.2 不相关噪声中的DC电平

与例6.1不同的是，本例中的噪声方差，对于不同数据样本是不同的。

  令$w[n]$为零均值不相关噪声，方差$\mathrm{v}\mathrm{a}\mathrm{r}(w[n])={\sigma }_n^2$，由于$s=1$，因此有
$$\hat{A}=\frac{1^{\mathrm{T}}{\mathbf{C}}^{-1}\mathbf{x}}{1^{\mathrm{T}}{\mathbf{C}}^{-1}1}$$具有最小方差
$$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{A})=\frac{1}{1^{\mathrm{T}}{\mathbf{C}}^{-1}1}.$$协方差阵为
$$\mathbf{C}=\left[\begin{array}{cccc}{\sigma }_0^2& 0& \dots & 0\\ 0& {\sigma }_1^2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & {\sigma }_{N-1}^2\end{array}\right],$$其逆矩阵为
$${\mathbf{C}}^{-1}=\left[\begin{array}{cccc}\frac{1}{{\sigma }_0^2}& 0& \dots & 0\\ 0& \frac{1}{{\sigma }_1^2}& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & \frac{1}{{\sigma }_{N-1}^2}\end{array}\right].$$因此，可以得到
$$\hat{A}=\frac{{\sum }_{n=0}^{N-1}\frac{x[n]}{{\sigma }_n^2}}{{\sum }_{n=0}^{N-1}\frac{1}{{\sigma }_n^2}}$$具有最小方差
$$\mathrm{v}\mathrm{a}\mathrm{r}(\hat{A})=\frac{1}{{\sum }_{n=0}^{N-1}\frac{1}{{\sigma }_n^2}}.$$对于具有更小方差的数据样本，BLUE赋予更大的权重，从而来均衡噪声的影响。(6.7)的分子是用来保证无偏的参数。进一步的结果参见Problem 6.2.