什么叫无偏估计?为什么方差的定义里写的是 1 n \frac{1}{n} n1,但又说无偏估计是 1 n − 1 \frac{1}{n-1} n−11?好像有人说道自由度是 n − 1 n-1 n−1?自由度又是什么?
本文本着一切都从定义开始的原则,推导无偏估计的方差
设
X
1
,
X
1
,
⋯
,
X
n
X_1, X_1,\cdots, X_n
X1,X1,⋯,Xn是n个采样样本。则这n个样本的无偏估计下的方差为
σ
2
=
1
n
−
1
[
∑
i
=
1
n
(
X
i
−
X
i
ˉ
)
2
]
\sigma^2 = \frac{1}{n-1}[\sum^{n}_{i=1}(X_i-\bar{X_i})^2]
σ2=n−11[i=1∑n(Xi−Xiˉ)2]
证明:
首先回顾方差期望的知识:
1.独立变量X和Y,期望值满足:
E
(
X
Y
)
=
E
X
∗
E
Y
E(XY)=EX*EY
E(XY)=EX∗EY。
可以通过期望
和独立
的定义得出。
独立变量乘积的期望值的证明
2.方差、期望、协方差的性质总结:
由独立变量之间的方差的线性性质,容易得到
X
ˉ
\bar{X}
Xˉ的方差:
V
a
r
(
X
ˉ
)
=
1
n
V
a
r
(
X
)
Var(\bar{X})=\frac{1}{n}Var(X)
Var(Xˉ)=n1Var(X)
证明在此。
或者写作:
σ
(
X
ˉ
)
2
=
1
n
σ
(
X
)
2
\sigma(\bar{X})^2=\frac{1}{n}\sigma(X)^2
σ(Xˉ)2=n1σ(X)2
3.二阶中心距:
由
V
a
r
(
X
)
=
E
(
X
2
)
−
(
E
(
X
)
)
2
Var(X)=E(X^2)-(E(X))^2
Var(X)=E(X2)−(E(X))2,可得:
E
(
X
2
)
=
V
a
r
(
X
)
+
(
E
(
X
)
)
2
=
σ
2
+
μ
2
E(X^2) = Var(X) + (E(X))^2 = \sigma^2+\mu^2
E(X2)=Var(X)+(E(X))2=σ2+μ2
同理对于
X
ˉ
\bar{X}
Xˉ,则有:
E
(
X
ˉ
2
)
=
V
a
r
(
X
ˉ
)
+
(
E
(
X
ˉ
)
)
2
=
1
n
σ
2
+
μ
2
E(\bar{X}^2) = Var(\bar{X}) + (E(\bar{X}))^2 = \frac{1}{n}\sigma^2+\mu^2
E(Xˉ2)=Var(Xˉ)+(E(Xˉ))2=n1σ2+μ2
4.无偏估计知识的复习:
无偏估计的定义是:对随机变量 θ \theta θ的估计是 θ ^ \hat{\theta} θ^,如果 E ( θ ^ ) = E ( θ ) E(\hat{\theta})=E(\theta) E(θ^)=E(θ),则称 θ ^ \hat{\theta} θ^为 θ \theta θ的无偏估计。
首先,方差的定义应该是 1 n [ ∑ i = 1 n ( X i − μ ) 2 ] \frac{1}{n}[\sum^{n}_{i=1}(X_i-\mu)^2] n1[∑i=1n(Xi−μ)2],其中 μ = E ( X i ) \mu=E(X_i) μ=E(Xi)。
注意,关键在于,我们不知道 μ \mu μ,只有 X ˉ \bar{X} Xˉ,但是 X ˉ \bar{X} Xˉ 不等于 μ \mu μ。
我们先根据我们现有的 X i X_i Xi和 X ˉ \bar{X} Xˉ来计算 ∑ i = 1 n ( X i − X i ˉ ) 2 \sum^{n}_{i=1}(X_i-\bar{X_i})^2 ∑i=1n(Xi−Xiˉ)2的期望。
E
(
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
)
E(\sum^{n}_{i=1}(X_i-\bar{X})^2)
E(i=1∑n(Xi−Xˉ)2)
=
E
(
∑
i
=
1
n
(
X
i
2
−
2
X
ˉ
X
i
+
X
ˉ
2
)
=E(\sum^{n}_{i=1}(X_i^2-2\bar{X}X_i+\bar{X}^2)
=E(i=1∑n(Xi2−2XˉXi+Xˉ2)
=
E
(
∑
i
=
1
n
X
i
2
)
−
E
(
∑
i
=
1
n
2
X
ˉ
X
i
)
+
E
(
∑
i
=
1
n
X
ˉ
2
)
=E(\sum^{n}_{i=1}X_i^2)-E(\sum^{n}_{i=1}2\bar{X}X_i)+E(\sum^{n}_{i=1}\bar{X}^2)
=E(i=1∑nXi2)−E(i=1∑n2XˉXi)+E(i=1∑nXˉ2)
=
∑
i
=
1
n
E
(
X
i
2
)
−
2
E
(
X
ˉ
∑
i
=
1
n
X
i
)
+
∑
i
=
1
n
E
(
X
ˉ
2
)
=\sum^{n}_{i=1}E(X_i^2)-2E(\bar{X}\sum^{n}_{i=1}X_i)+\sum^{n}_{i=1}E(\bar{X}^2)
=i=1∑nE(Xi2)−2E(Xˉi=1∑nXi)+i=1∑nE(Xˉ2)
=
∑
i
=
1
n
E
(
X
i
2
)
−
2
E
(
X
ˉ
∑
i
=
1
n
X
i
)
+
n
⋅
E
(
X
ˉ
2
)
=\sum^{n}_{i=1}E(X_i^2)-2E(\bar{X}\sum^{n}_{i=1}X_i)+n \cdot E(\bar{X}^2)
=i=1∑nE(Xi2)−2E(Xˉi=1∑nXi)+n⋅E(Xˉ2)
其中第二项可以改写为:
2
E
(
X
ˉ
∑
i
=
1
n
X
i
)
=
2
E
(
X
ˉ
⋅
n
X
ˉ
)
=
2
n
⋅
E
(
X
ˉ
2
)
2E(\bar{X}\sum^{n}_{i=1}X_i)=2E(\bar{X}\cdot n\bar{X})=2n\cdot E(\bar{X}^2)
2E(Xˉi=1∑nXi)=2E(Xˉ⋅nXˉ)=2n⋅E(Xˉ2)
带入回去,第二三项合并得到:
E
(
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
)
=
∑
i
=
1
n
E
(
X
i
2
)
−
n
⋅
E
(
X
ˉ
2
)
E(\sum^{n}_{i=1}(X_i-\bar{X})^2)=\sum^{n}_{i=1}E(X_i^2)-n \cdot E(\bar{X}^2)
E(i=1∑n(Xi−Xˉ)2)=i=1∑nE(Xi2)−n⋅E(Xˉ2)
将第3点的中心距带入:
E
(
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
)
=
∑
i
=
1
n
(
σ
2
+
μ
2
)
−
n
⋅
(
1
n
σ
2
+
μ
2
)
E(\sum^{n}_{i=1}(X_i-\bar{X})^2)=\sum^{n}_{i=1}(\sigma^2+\mu^2)-n \cdot (\frac{1}{n}\sigma^2+\mu^2)
E(i=1∑n(Xi−Xˉ)2)=i=1∑n(σ2+μ2)−n⋅(n1σ2+μ2)
=
n
(
σ
2
+
μ
2
)
−
n
(
1
n
σ
2
+
μ
2
)
=n(\sigma^2+\mu^2)-n(\frac{1}{n}\sigma^2+\mu^2)
=n(σ2+μ2)−n(n1σ2+μ2)
=
(
n
−
1
)
σ
2
=(n-1)\sigma^2
=(n−1)σ2
我们希望得到的是
σ
\sigma
σ,而我们可以算出的是
E
(
∑
i
=
1
n
(
X
i
−
X
ˉ
)
2
)
E(\sum^{n}_{i=1}(X_i-\bar{X})^2)
E(∑i=1n(Xi−Xˉ)2)。因此,只要我们最开始的公式中加一个
1
/
(
n
−
1
)
1/(n-1)
1/(n−1),就能无偏的计算出方差。
因此,无偏的方差应该是:
σ
2
=
1
n
−
1
[
∑
i
=
1
n
(
X
i
−
X
i
ˉ
)
2
]
\sigma^2 = \frac{1}{n-1}[\sum^{n}_{i=1}(X_i-\bar{X_i})^2]
σ2=n−11[i=1∑n(Xi−Xiˉ)2]
附:
《概率论与数理统计教程》茆诗松 高等教育出版社: P296
无偏估计:对于总体,样本均值是总体均值的无偏估计,如果k阶原点距期望存在,则样本的k阶原点矩也是无偏估计, 但中心距不是。
但不具有不变性,即:若 θ ^ \hat{\theta} θ^是 θ \theta θ的无偏估计, g ( θ ^ ) g(\hat{\theta}) g(θ^)不一定是 g ( θ ) g(\theta) g(θ)的无偏估计,除非是线性函数。