样本标准差与自由度 n-1 卡方分布关系的证明

在一本统计学课本中见到一个熟悉的式子：
$$\frac{(n-1)s^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$

其中 $s$ 为样本的标准差。该式子的含义是 (n-1)*样本方差与总体方差之比服从自由度为 n-1 的卡方分布。而且，$\overline{X}$ 与 $S^2$ 相互独立。

一直以为这个式子很好证，自己试着没证出来。最后查了查，其实并不好证，要利用到不熟悉的高深性质。

证明：
$$\begin{array}{rl}\frac{(n-1)s^2}{{\sigma }^2}=& \frac{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}{{\sigma }^2}\\ =& \sum _{i=1}^n(\frac{x_i}{\sigma }-\frac{\overline{x}}{\sigma }{)}^2\\ =& \sum _{i=1}^n(\frac{x_i-\mu }{\sigma }-\frac{\overline{x}-\mu }{\sigma }{)}^2\\ =& \sum _{i=1}^n(Z_i-\overline{Z}{)}^2\\ =& \sum _{i=1}^n{Z}_i^2-n{\overline{Z}}^2\end{array}$$

其中 $Z_i$ 表示一个标准正态分布变量。下面利用 “一组相互独立的标准正态随机变量经过正交变换后仍然是相互独立的标准正态随机变量”的性质。

构造一个正交矩阵 $A$，对 $Z_i$ 做正交变换，即 $Y=AZ$，其中 $Z=(Z_1,Z_2,\dots ,Z_n{)}^T$，$Y=(Y_1,Y_2,\dots ,Y_n{)}^T$.

$$\sum Y_i^2=Y^{T}Y=Z^T{A}^{T}AZ=Z^{T}Z=\sum Z_i^2$$

令 $A_1=(\frac{1}{\sqrt{n}},\frac{1}{\sqrt{n}}\dots ,\frac{1}{\sqrt{n}})$，（其他 $A_i$ 的值不用管，只要满足正交矩阵即可，$A_i$ 为矩阵 $A$ 的第 $i$ 个行向量），则
$$n{\overline{Z}}^2=\frac{(Z_1+Z_2+\cdots +Z_n{)}^2}{n}=(A_{1}Z{)}^2=Y_1^2$$
所以：
$$\begin{array}{rl}\frac{(n-1)s^2}{{\sigma }^2}=& \sum _{i=1}^n{Z}_i^2-n{\overline{Z}}^2\\ =& \sum Y_i^2-Y_1^2=\sum _{i=2}^n{Y}_i^2={\chi }^2(n-1）\end{array}$$

只要性质 “一组相互独立的标准正态随机变量经过正交变换后仍然是相互独立的标准正态随机变量” 成立，则结论就成立了。下面证明这个性质成立，设 $a_{i,j}$ 为正交矩阵 $A$ 中的元素，

$$E(Y_i)=\sum _{j=1}^{n}E(a_{ij}{Z}_j)=0$$

$$E(Y_i^2)=E(\sum _{j=1}^n{a}_{ij}{Z}_j{)}^2=a_{i,1}^{2}E(Z_1^2)+\cdots +a_{i,n}^{2}E(Z_n^2)=a_{i,1}^2+\cdots +a_{i,n}^2=1$$

$i$ 不等于 $j$ 时，
$$\begin{array}{rl}Cov(Y_i,Y_j)=& E(Y_i{Y}_j)-E(Y_i)E(Y_j)\\ =& E(Y_i{Y}_j)\\ =& \sum _{k=1}^n{a}_{i,k}{a}_{j,k}=0\end{array}$$

因此可以得出 ${\sum }_{i=2}^n{Y}_i^2={\chi }^2(n-1)$ 成立，上面的一些计算利用了正交矩阵的性质，因此“一组相互独立的标准正态随机变量经过正交变换后仍然是相互独立的标准正态随机变量” 成立，原结论也成立。
$$\square$$

其实利用一个定理 Cochran’s theorem，可以推出
$$\sum _{i=1}^n(x_i-\overline{x}{)}^2\sim {\sigma }^2{\chi }^2(n-1)$$

就可以一步得出了，不过这个定理不太好理解。

利用这个性质，就可以做 t 检验了，因为：
$$\frac{\overline{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$$

（2）对于相互独立性，由于 $S^2$ 只与 $Y_2,Y_3,\dots ,Y_n$ 有关，而 $\frac{\overline{X}-\mu }{\sigma }=\overline{Z}=\frac{1}{\sqrt{n}}{Y}_1$，可见 $\overline{X}$ 只与 $Y_1$ 有关，由 $Y_1,Y_2,\dots ,Y_n$ 的独立性，知道 $\overline{X}$ 与 $S^2$ 相互独立。