无偏估计(Unbiased Estimation)是统计学中的一个重要概念,指的是估计量的期望值等于被估计参数的真实值。具体来说,如果用一个估计量(通常是一个统计量)来估计某个参数,那么这个估计量的期望值应该等于该参数的真实值。
数学定义
设 θ \theta θ 是要估计的参数, θ ^ \hat{\theta} θ^ 是 θ \theta θ 的一个估计量。如果满足以下条件:
E ( θ ^ ) = θ E(\hat{\theta}) = \theta E(θ^)=θ
其中 E ( θ ^ ) E(\hat{\theta}) E(θ^) 表示估计量 θ ^ \hat{\theta} θ^ 的期望值,那么 θ ^ \hat{\theta} θ^ 就是 θ \theta θ 的一个无偏估计。
例子
假设有一个随机样本 X 1 , X 2 , … , X n X_1, X_2, \ldots, X_n X1,X2,…,Xn 来自均值为 μ \mu μ、方差为 σ 2 \sigma^2 σ2 的正态分布 N ( μ , σ 2 ) N(\mu, \sigma^2) N(μ,σ2)。
- 样本均值 X ˉ = 1 n ∑ i = 1 n X i \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i Xˉ=n1∑i=1nXi 是总体均值 μ \mu μ 的无偏估计,因为:
E ( X ˉ ) = μ E(\bar{X}) = \mu E(Xˉ)=μ
- 样本方差 S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ˉ ) 2 S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2 S2=n−11∑i=1n(Xi−Xˉ)2 是总体方差 σ 2 \sigma^2 σ2 的无偏估计,因为:
E ( S 2 ) = σ 2 E(S^2) = \sigma^2 E(S2)=σ2
有偏估计
如果一个估计量的期望值不等于被估计参数的真实值,那么这个估计量就是有偏的。例如,样本方差 S 2 S^2 S2 的另一种形式 1 n ∑ i = 1 n ( X i − X ˉ ) 2 \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 n1∑i=1n(Xi−Xˉ)2 是有偏的,因为的期望值不等于 σ 2 \sigma^2 σ2。
重要性
无偏估计在统计推断中非常重要,因为确保了估计量的平均值(在多次重复抽样的情况下)会接近被估计参数的真实值。然而,无偏性并不是唯一重要的性质,估计量的方差(即估计的精度)也是需要考虑的因素。
总结
无偏估计是指估计量的期望值等于被估计参数的真实值。在统计学中是一个重要的概念,确保了估计量的平均表现接近真实值。