MMSE and LMMSE Estimators 1: The estimation problem

参数估计问题存在于各色系统中。特别的，在通信系统中，我们传递的消息是离散时，decoding一般称为 detetcion，但如果传输的信号是连续的实数时，我们一般称decoding问题为 estimation.

1. 未知变量: $\theta$
2. 观测量: $\mathbf{y}$
3. Estimator: $\hat{\theta }=g(\mathbf{y})$

Estimation performance:

1. Estimation error: $\hat{\theta }-\theta$ 通常是一次估计的到处估计误差；
2. Bias: $\mathbb{E}[\hat{\theta }-\theta ]$ 平均估计误差；
3. Mean square error: $\mathbb{E}[(\hat{\theta }-\theta {)}^2]$

一般我们希望一个 estimator 是 unbiased，即 bias 是0: $\mathbb{E}[\hat{\theta }-\theta ]=0$. 意思是说我们不希望估计器老是 overestimate 或者 underestimate 待估计参数。但是unbiased estimator只是说明平均下来overestimation 和 underestimation 可以抵消并不代表estimation error 很小。这也是为什么我们要进一步定义 MSE的原因。

---

例：让我们来考虑在噪声中检测 $\theta$. 接收信号可以写为
$$y_i=\theta +w_i$$

一个简单的estimator是传输一次然后直接用收到的 $y_1$ 作为估计值

Estimator 1
$$\hat{\theta }=y_1$$

那么此时我们有
$$\mathbb{E}[\hat{\theta }-\theta ]=\mathbb{E}[y_1-\theta ]=\mathbb{E}[w_1]=0$$

$${\text{MSE}}_1=\mathbb{E}[(\hat{\theta }-\theta {)}^2]=\mathbb{E}[w_1^2]={\sigma }^2$$

但是如果我们能多传几次，那显然由于 noise 是 i.i.d. 的，我们可以用多个sample中的信息设计一个更强的估计器

Estimator 2
$$\hat{\theta }=\frac{1}{N}\sum _{i=1}^N{y}_i$$

那么此时我们有
E [ θ ^ − θ ] = E [ 1 N ∑ i = 1 N w i ] = 0 \mathbb{E}[\hat{\theta}-\theta]=\mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N w_i\right]=0 E[θ^−θ]=E[N1​