众所周知，方差公式为： S 2 = 1 n ∑ i = 1 n ( x i − x ˉ ) 2 S^2=\frac1n\sum^n_{i=1}(x_i-\bar x)^2 S2=n1i=1∑n(xi−xˉ)2 但是实际上，在很多情况下我们无法获取所有的样本，更多时候其实只能获取总样本中的一部分样本，而通过这部分样本算出的样本方差和使用总样本计算出的总体方差之间肯定存在误差，也就是说这个样本方差是有偏的，因此，我们希望对样本方差进行修正，使样本方差是总体方差的一个无偏估计。
无偏估计
我们对总样本进行多次抽取，并分别计算平均值 x ˉ 1 , x ˉ 2 , ⋯ \bar x_1,\bar x_2,\cdots xˉ1,xˉ2,⋯，然后把这些值再做平均，记为 E ( X ˉ ) E(\bar X) E(Xˉ)，这样随着抽取次数增多，这个期望值会越来越精确，并且接近总体均值 μ \mu μ，如果满足 E ( X ˉ ) = μ E(\bar X)=\mu E(Xˉ)=μ，那么这就是一个无偏估计，其中每次计算的样本均值就是一个随机变量。
无偏估计的意义是：在多次重复下，它们的平均值接近所估计的参数的真值
无偏方差
假设样本均值为
X
ˉ
\bar X
Xˉ，总体均值为
μ
\mu
μ，那么我们希望：
E
(
S
2
)
=
E
(
1
n
∑
(
x
i
−
X
ˉ
)
2
)
=
1
n
∑
(
x
i
−
μ
)
2
=
σ
2
E(S^2)=E\left(\frac1n\sum(x_i-\bar X)^2\right)=\frac1n\sum(x_i-\mu)^2=\sigma^2
E(S2)=E(n1∑(xi−Xˉ)2)=n1∑(xi−μ)2=σ2
我们接着往下推：
E
(
1
n
∑
(
x
i
−
X
ˉ
)
2
)
=
E
(
1
n
∑
(
(
x
i
−
μ
)
−
(
X
ˉ
−
μ
)
)
2
)
=
E
(
1
n
∑
(
(
x
i
−
μ
)
2
−
2
(
x
i
−
μ
)
(
X
ˉ
−
μ
)
+
(
X
ˉ
−
μ
)
2
)
)
=
E
(
1
n
∑
(
x
i
−
μ
)
2
−
2
n
∑
(
x
i
−
μ
)
(
X
ˉ
−
μ
)
+
1
n
∑
(
X
ˉ
−
μ
)
2
)
\begin{align} E\left(\frac1n\sum(x_i-\bar X)^2\right)&=E\left(\frac1n\sum((x_i-\mu)-(\bar X-\mu))^2\right)\\ &=E\left(\frac1n\sum\left((x_i-\mu)^2-2(x_i-\mu)(\bar X-\mu)+(\bar X-\mu)^2\right)\right)\\ &=E\left(\frac1n\sum(x_i-\mu)^2-\frac2n\sum(x_i-\mu)(\bar X-\mu)+\frac1n\sum(\bar X-\mu)^2\right) \end{align}
E(n1∑(xi−Xˉ)2)=E(n1∑((xi−μ)−(Xˉ−μ))2)=E(n1∑((xi−μ)2−2(xi−μ)(Xˉ−μ)+(Xˉ−μ)2))=E(n1∑(xi−μ)2−n2∑(xi−μ)(Xˉ−μ)+n1∑(Xˉ−μ)2)
因为
1
n
∑
(
x
i
−
μ
)
=
1
n
∑
x
i
−
μ
=
X
ˉ
−
μ
\frac1n\sum(x_i-\mu)=\frac1n\sum x_i-\mu=\bar X-\mu
n1∑(xi−μ)=n1∑xi−μ=Xˉ−μ 和
1
n
∑
X
ˉ
=
X
ˉ
\frac 1n\sum\bar X=\bar X
n1∑Xˉ=Xˉ，我们可以继续简化：
E
(
1
n
∑
(
x
i
−
X
ˉ
)
2
)
=
E
(
1
n
∑
(
x
i
−
μ
)
2
−
2
n
∑
(
x
i
−
μ
)
(
X
ˉ
−
μ
)
+
1
n
∑
(
X
ˉ
−
μ
)
2
)
=
E
(
1
n
∑
(
x
i
−
μ
)
2
−
2
(
X
ˉ
−
μ
)
2
+
(
X
ˉ
−
μ
)
2
)
=
E
(
1
n
∑
(
x
i
−
μ
)
2
)
−
E
(
(
X
ˉ
−
μ
)
2
)
≤
σ
2
\begin{align} E\left(\frac1n\sum(x_i-\bar X)^2\right)&=E\left(\frac1n\sum(x_i-\mu)^2-\frac2n\sum(x_i-\mu)(\bar X-\mu)+\frac1n\sum(\bar X-\mu)^2\right)\\ &=E\left(\frac1n\sum(x_i-\mu)^2-2(\bar X-\mu)^2+(\bar X-\mu)^2\right)\\ &=E\left(\frac1n\sum(x_i-\mu)^2\right)-E\left((\bar X-\mu)^2\right)\le\sigma^2 \end{align}
E(n1∑(xi−Xˉ)2)=E(n1∑(xi−μ)2−n2∑(xi−μ)(Xˉ−μ)+n1∑(Xˉ−μ)2)=E(n1∑(xi−μ)2−2(Xˉ−μ)2+(Xˉ−μ)2)=E(n1∑(xi−μ)2)−E((Xˉ−μ)2)≤σ2
可以发现，当
X
ˉ
=
μ
\bar X=\mu
Xˉ=μ 的时候，也就是取全部样本的时候，
E
(
S
2
)
=
σ
2
E(S^2)=\sigma^2
E(S2)=σ2，这样是不行的，所以我们要进行修正，我们接着上式继续化简：
E
(
1
n
∑
(
x
i
−
μ
)
2
)
−
E
(
(
X
ˉ
−
μ
)
2
)
=
V
a
r
(
x
)
−
V
a
r
(
X
ˉ
)
E\left(\frac1n\sum(x_i-\mu)^2\right)-E\left((\bar X-\mu)^2\right)=Var(x)-Var(\bar X)
E(n1∑(xi−μ)2)−E((Xˉ−μ)2)=Var(x)−Var(Xˉ)
对于 V a r ( X ˉ ) Var(\bar X) Var(Xˉ) 我们进行如下处理：
V
a
r
(
X
ˉ
)
=
V
a
r
(
1
n
∑
x
i
)
=
1
n
2
V
a
r
(
∑
x
i
)
Var(\bar X)=Var\left(\frac1n\sum x_i\right)=\frac1{n^2}Var\left(\sum x_i\right)
Var(Xˉ)=Var(n1∑xi)=n21Var(∑xi)
由于样本之间是相互独立的，所以
V
a
r
(
A
+
B
)
=
V
a
r
(
A
)
+
V
a
r
(
B
)
Var(A+B)=Var(A)+Var(B)
Var(A+B)=Var(A)+Var(B)，因此
1
n
2
V
a
r
(
∑
x
i
)
=
1
n
V
a
r
(
x
)
\frac1{n^2}Var\left(\sum x_i\right)=\frac1nVar(x)
n21Var(∑xi)=n1Var(x)
所以 V a r ( x ) − V a r ( X ˉ ) = n − 1 n V a r ( x ) = n − 1 n σ 2 = E ( S 2 ) Var(x)-Var(\bar X)=\frac{n-1}nVar(x)=\frac{n-1}n\sigma^2=E(S^2) Var(x)−Var(Xˉ)=nn−1Var(x)=nn−1σ2=E(S2)
所以，我们只要对样本方差 S 2 S^2 S2 乘以 n n − 1 \frac n{n-1} n−1n就可以得到无偏估计，即无偏方差： n n − 1 S 2 = n n − 1 1 n ∑ ( x i − X ˉ ) 2 = 1 n − 1 ∑ ( x i − X ˉ ) 2 \frac n{n-1}S^2=\frac n{n-1}\frac 1n\sum(x_i-\bar X)^2=\frac1{n-1}\sum(x_i-\bar X)^2 n−1nS2=n−1nn1∑(xi−Xˉ)2=n−11∑(xi−Xˉ)2
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
