参数估计问题存在于各色系统中。特别的,在通信系统中,我们传递的消息是离散时,decoding一般称为 detetcion,但如果传输的信号是连续的实数时,我们一般称decoding问题为 estimation.
- 未知变量: θ \theta θ
- 观测量: y \bm{y} y
- Estimator: θ ^ = g ( y ) \hat{\theta}=g(\bm{y}) θ^=g(y)
Estimation performance:
- Estimation error: θ ^ − θ \hat{\theta}-\theta θ^−θ 通常是一次估计的到处估计误差;
- Bias: E [ θ ^ − θ ] \mathbb{E}[\hat{\theta}-\theta] E[θ^−θ] 平均估计误差;
- Mean square error: E [ ( θ ^ − θ ) 2 ] \mathbb{E}[(\hat{\theta}-\theta)^2] E[(θ^−θ)2]
一般我们希望一个 estimator 是 unbiased,即 bias 是0: E [ θ ^ − θ ] = 0 \mathbb{E}[\hat{\theta}-\theta]=0 E[θ^−θ]=0. 意思是说我们不希望估计器老是 overestimate 或者 underestimate 待估计参数。但是unbiased estimator只是说明平均下来overestimation 和 underestimation 可以抵消并不代表estimation error 很小。这也是为什么我们要进一步定义 MSE的原因。
例:让我们来考虑在噪声中检测 θ \theta θ. 接收信号可以写为
y i = θ + w i y_i=\theta+w_i yi=θ+wi
一个简单的estimator是传输一次然后直接用收到的 y 1 y_1 y1 作为估计值
Estimator 1
θ ^ = y 1 \hat{\theta}=y_1 θ^=y1
那么此时我们有
E [ θ ^ − θ ] = E [ y 1 − θ ] = E [ w 1 ] = 0 \mathbb{E}[\hat{\theta}-\theta]=\mathbb{E}[y_1-\theta]=\mathbb{E}[w_1]=0 E[θ^−θ]=E[y1−θ]=E[w1]=0
MSE 1 = E [ ( θ ^ − θ ) 2 ] = E [ w 1 2 ] = σ 2 \text{MSE}_1=\mathbb{E}[(\hat{\theta}-\theta)^2]=\mathbb{E}[w^2_1]=\sigma^2 MSE1=E[(θ^−θ)2]=E[w12]=σ2
但是如果我们能多传几次,那显然由于 noise 是 i.i.d. 的,我们可以用多个sample中的信息设计一个更强的估计器
Estimator 2
θ ^ = 1 N ∑ i = 1 N y i \hat{\theta}=\frac{1}{N}\sum_{i=1}^N y_i θ^=N1i=1∑Nyi
那么此时我们有
E [ θ ^ − θ ] = E [ 1 N ∑ i = 1 N w i ] = 0 \mathbb{E}[\hat{\theta}-\theta]=\mathbb{E}\left[\frac{1}{N}\sum_{i=1}^N w_i\right]=0 E[θ^−θ]=E[N1