浙江大学版《概率论和梳理统计》第6章有个著名的定理,该定理在统计学中占有重要地位,在以后的统计学学习中,多次看到
该定理的应用和推论。
该定理定义如下:
教材中对该定理的证明:
鉴于繁琐的证明过程,一直没怎么关注这个定理的证明,后来发现,该定理在统计学中有大量应用,该定理是学习统计学绕不开的核心定理之一。为了加深印象和进一步领会证明过程,根据教材的讲解,再一次复述一下该定理的证明过程。
证明过程的几个步骤依次如下:
-
( n − 1 ) s 2 σ 2 = ∑ i = 1 n ( x i − x ˉ ) 2 σ 2 = ∑ i = 1 n ( ( x i − μ ) − ( x ˉ − μ ) ) 2 σ 2 = ∑ i = 1 n [ ( x i − μ ) − ( x ˉ − μ ) σ ] 2 (1.1) \frac {(n - 1) s ^2}{\sigma ^ 2} = \frac{ \sum _{i = 1} ^{n} ( x_i - \bar x)^2 } {\sigma^2} = \\ \frac{ \sum _{i = 1} ^{n} ( (x_i - \mu ) - (\bar x - \mu))^2 } {\sigma^2} = \\ \sum _{i = 1} ^{n} \biggl [ \frac{(x_i - \mu ) - (\bar x - \mu)} {\sigma} \biggr ] ^ 2 \tag {1.1} σ2(n−1)s2=σ2∑i=1n(xi−xˉ)2=σ2∑i=1n((xi−μ)−(xˉ−μ))2=i=1∑n[σ(xi−μ)−(xˉ−μ)]2(1.1)
-
设 z i = x i − μ σ , z ˉ = x ˉ − μ σ z_i = \frac {x_i - \mu} {\sigma}, \bar z = \frac {\bar x - \mu} {\sigma} zi=σxi−μ,zˉ=σxˉ−μ 带入上式可得:
∑ i = 1 n [ ( x i − μ ) − ( x ˉ − μ ) σ ] 2 = ∑ i = 1 n ( z i − z ˉ ) 2 = ∑ i = 1 n ( z i 2 + z ˉ 2 − 2 z ˉ z i ) = ∑ i = 1 n z i 2 + n z ˉ 2 − 2 z ˉ ∑ i = 1 n z i = ∑ i = 1 n z i 2 + n z ˉ 2 − 2 z ˉ n z ˉ = ∑ i = 1 n z i 2 + n z ˉ 2 − 2 n z ˉ 2 = ∑ i = 1 n z i 2 − n z ˉ 2 (1.2) \sum _{i = 1} ^{n} \biggl [ \frac{(x_i - \mu ) - (\bar x - \mu)} {\sigma} \biggr ] ^ 2 = \\ \sum _{i = 1} ^{n} (z_i - \bar z)^ 2 = \sum _{i = 1} ^{n} (z_i ^2 + \bar z ^ 2 - 2 \bar z z_i) = \\ \sum _{i = 1} ^{n} z_i ^ 2+ n \bar z ^2 - 2 \bar z \sum _{i = 1} ^{n}z_i = \sum _{i = 1} ^{n} z_i ^ 2+ n \bar z ^2 - 2 \bar z n \bar z = \\ \sum _{i = 1} ^{n} z_i ^ 2+ n \bar z ^2 - 2 n \bar z ^2 \\ = \sum _{i = 1} ^{n} z_i ^ 2 - n \bar z ^2 \tag {1.2} i=1∑n[σ(xi−μ)−(xˉ−μ)]2=i=1∑n(zi−zˉ)2=i=1∑n(zi2+zˉ2−2zˉzi)=i=1∑nzi2+nzˉ2−2zˉi=1∑nzi=i=1∑nzi2+nzˉ2−2zˉnzˉ=i=1∑nzi2+nzˉ2−2nzˉ2=i=1∑nzi2−nzˉ2(1.2)
- 设 u = A z,其中u为一维行向量,A为正交矩阵,A矩阵的第一个行向量为 1 n \frac {1}{\sqrt n} n1,由于:
∑ i = 1 n z i 2 = z t z = z t A t A z = ( A z ) t A z = u t u \sum _{i = 1} ^{n} z_i ^ 2 = z^{t} z = z^{t} A^t A z = (Az)^t Az = u^t u i=1∑nzi2=ztz=ztAtAz=(Az)tAz=utu
u 1 = ∑ i = 1 n A 1 i z ˉ i 1 = ∑ i = 1 n 1 n z ˉ i 1 = n z ˉ u_1 = \sum_{i=1}^{n}A_{1i} \bar z_{i1} = \sum_{i=1}^{n} \frac{1}{\sqrt n}\bar z_{i1} = \sqrt n \bar z u1=i=1∑nA1izˉi1=i=1∑nn1zˉi1=nzˉ
解释:
(1)
∑
i
=
1
n
z
i
2
=
z
t
z
\sum _{i = 1} ^{n} z_i ^ 2 = z^{t} z
∑i=1nzi2=ztz是一个重要的基础知识,需要理解的基础上牢记。
(2) 因为z和 z ˉ \bar z zˉ都是一维列向量,故 z ˉ i 1 = z ˉ i \bar z_{i1} = \bar z_i zˉi1=zˉi
- 将上述转换带入式子(1.2)可得:
∑ i = 1 n z i 2 − n z ˉ 2 = u t u − u 1 2 = ∑ i = 2 n u i 2 \sum _{i = 1} ^{n} z_i ^ 2 - n \bar z ^2 = u^tu - u_1^2 = \sum _{i=2}^{n} u_i^2 i=1∑nzi2−nzˉ2=utu−u12=i=2∑nui2
因为
z
∼
N
(
0
,
1
)
z\sim N(0,1)
z∼N(0,1),所以
u
i
u_i
ui服务从自由度为1的
χ
2
\chi^2
χ2分布,
∑
i
=
2
n
u
i
2
\sum _{i=2}^{n} u_i^2
∑i=2nui2 服从自由度为n-1的
χ
2
\chi^2
χ2分布。
因此可证明:
(
n
−
1
)
s
2
σ
2
∼
χ
2
(
n
−
1
)
\frac {(n - 1) s ^2}{\sigma ^ 2} \sim \chi ^ 2(n-1)
σ2(n−1)s2∼χ2(n−1)
- 由已知结论,多维随机变量的正态分布,若多个变量之间的协方差为0时,该正态分布的多个随机变量之间相互独立。
因为 z ∼ N ( 0 , 1 ) , E z = 0 z\sim N(0,1),E z = 0 z∼N(0,1),Ez=0,所以:
c o v ( z i , z j ) = E [ ( E z i − z i ) ( E z j − z j ) ] = E ( z i z j ) − E z i E z j = E ( z i z j ) cov(z_i,z_j) = E [ (Ez_i - z_i)(E z_j - z_j) ] = E(z_i z_j) - Ez_i Ez_j = E(z_i z_j) cov(zi,zj)=E[(Ezi−zi)(Ezj−zj)]=E(zizj)−EziEzj=E(zizj)
现在考虑 E ( z i z j ) E(z_i z_j) E(zizj)的值。
根据两个随机变量之积的概率分布公式可得:
P ( z i z j ) = ∫ − ∞ + ∞ 1 ∣ z i ∣ f ( z i ) g ( z z i ) d z i P(z_i z_j) = \int _{-\infty }^{+ \infty}\frac {1} {|z_i|} f(z_i) g(\frac{z}{z_i}) d z_i P(zizj)=∫−∞+∞∣zi∣1f(zi)g(ziz)dzi
此公式无法直接得到我们想要的答案。转换一下思路,根据期望值的定义直接求解:
E ( z i z j ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ z i z j f ( z i ) g ( z j ) d z i d z j = ∫ − ∞ + ∞ z i g ( z i ) d z i ∫ − ∞ + ∞ z j f ( z j ) d z j (1.3) E(z_i z_j) = \int _{-\infty}^{+\infty} \int _{-\infty}^{+\infty} z_i z_j f(z_i)g(z_j) d z_i dz_j = \\ \int _{-\infty}^{+\infty}z_i g(z_i) d z_i \int _{-\infty}^{+\infty} z_j f(z_j)dz_j \tag {1.3} E(zizj)=∫−∞+∞∫−∞+∞zizjf(zi)g(zj)dzidzj=∫−∞+∞zig(zi)dzi∫−∞+∞zjf(zj)dzj(1.3)
上式中,若i=j则为1,否则为0。进一步考察u的协方差:
c
o
v
(
u
i
,
u
j
)
=
E
[
(
E
u
i
−
u
i
)
(
E
u
j
−
u
j
)
]
=
E
(
u
i
u
j
)
−
E
u
i
E
u
j
=
E
(
u
i
u
j
)
cov(u_i,u_j) = E [ (Eu_i - u_i)(E u_j - u_j) ] = E(u_i u_j) - Eu_i Eu_j = E(u_i u_j)
cov(ui,uj)=E[(Eui−ui)(Euj−uj)]=E(uiuj)−EuiEuj=E(uiuj)
由于u是z的线性变换,根据上面的(1.3)可得,若i=j则协方差为1,否则协方差为0。由此可以证明z的线性无关性,进一步的,结合上图课本中的截图,可以证明
x
ˉ
与
s
2
独立
\bar x 与 s^2独立
xˉ与s2独立
该定理直接证明了另外的两个定理。
定理:
x
ˉ
−
u
s
n
∼
t
(
n
−
1
)
\frac {\bar x - u}{ \frac {s}{\sqrt n}} \sim t(n-1)
nsxˉ−u∼t(n−1)
证明:
x
ˉ
−
u
σ
n
=
x
ˉ
−
u
σ
n
σ
s
=
x
ˉ
−
u
σ
n
(
n
−
1
)
s
2
(
n
−
1
)
σ
2
∼
t
(
n
−
1
)
\frac {\bar x - u}{ \frac {\sigma}{\sqrt n}} = \frac {\bar x - u}{ \frac {\sigma}{\sqrt n}} \frac {\sigma}{s}= \\ \frac {\frac {\bar x - u}{ \frac {\sigma}{\sqrt n}} } {\sqrt { \frac {(n-1)s^2} {(n -1)\sigma ^ 2} } } \sim t(n-1)
nσxˉ−u=nσxˉ−usσ=(n−1)σ2(n−1)s2nσxˉ−u∼t(n−1)
定理:
s
1
2
s
2
2
σ
1
2
σ
2
2
∼
t
(
n
−
1
,
n
−
1
)
\frac { \frac {s_1 ^ 2}{s_2 ^ 2} } { \frac {\sigma_1 ^ 2}{\sigma_2 ^ 2}} \sim t(n-1,n-1)
σ22σ12s22s12∼t(n−1,n−1)
证明:
因为
(
n
−
1
)
s
1
2
σ
1
2
∼
χ
2
(
n
−
1
)
(
n
−
1
)
s
2
2
σ
2
2
∼
χ
2
(
n
−
1
)
\frac {(n - 1) s_1 ^2}{\sigma _1 ^ 2} \sim \chi ^ 2(n-1) \\ \frac {(n - 1) s_2 ^2}{\sigma _2 ^ 2} \sim \chi ^ 2(n-1)
σ12(n−1)s12∼χ2(n−1)σ22(n−1)s22∼χ2(n−1)
根据f分布的定义可知
( n − 1 ) s 1 2 ( n − 1 ) σ 1 2 / ( n − 1 ) s 2 2 ( n − 1 ) σ 2 2 = s 1 2 / s 2 2 σ 1 2 / σ 2 2 ∼ f ( n − 1 , n − 1 ) \frac {(n - 1) s_1 ^2}{(n-1)\sigma _1 ^ 2} / \frac {(n - 1) s_2 ^2}{(n -1)\sigma _2 ^ 2} = \frac {s_1^2 /s_2 ^2}{\sigma_1 ^ 2 / \sigma_2^2} \sim f(n-1,n-1) (n−1)σ12(n−1)s12/(n−1)σ22(n−1)s22=σ12/σ22s12/s22∼f(n−1,n−1)