超详细推导样本方差和总体方差(n-1的由来)

本文分析为什么样本方差要除以n-1

举例一个应用场景，例如想要知道全市高中生数学成绩的平均分和方差，全市共有N个高中生，想把所有学生的成绩都统计出来比较难，所以我们只在其中取n个学生的成绩，用这n个学生成绩的平均分和方差来估计全市N个学生的平均分和方差，并希望尽量估计的准确。

首先明确几个定义：

$\mu =\frac{1}{N}\sum _{i=1}^N{X}_i$：总体均值，未知的（$N$:总体个数）

$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$：样本均值（$n\to N$时，$\bar{X}=\mu$；$n$：样本个数）

${\sigma }^2=\frac{1}{N}\sum _{i=1}^N(X_i-\mu {)}^2=D(x)$：总体方差，注意这里减的是$\mu$

$S^2$：样本方差，有无偏估计和有偏估计两种形式

$$\{\begin{array}{ll}{S}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2,& \text{有偏估计}\\ S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2,& \text{无偏估计}\end{array}$$

我们希望样本方差等于总体方差，也就是样本方差的期望等于总体方差，即$E(S^2)={\sigma }^2$，取有偏估计的公式来计算：

$$\begin{gathered} E(S^2)=E[\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2] \\ =\frac{1}{n}E[\sum _{i=1}^n(X_i-\mu +\mu -\bar{X}{)}^2] \\ =\frac{1}{n}E\sum _{i=1}^n[(X_i-\mu )-(\bar{X}-\mu ){]}^2 \\ =\frac{1}{n}E\sum _{i=1}^n[(X_i-\mu {)}^2+(\bar{X}-\mu {)}^2-2(X_i-\mu )(\bar{X}-\mu )] \\ =\frac{1}{n}E[\sum _{i=1}^n(X_i-\mu {)}^2+\sum _{i=1}^n(\bar{X}-\mu {)}^2-2\sum _{i=1}^n(X_i-\mu )(\bar{X}-\mu )]\stackrel{◯}{1} \\ =\frac{1}{n}E[\sum _{i=1}^n(X_i-\mu {)}^2+n(\bar{X}-\mu {)}^2-2n(\bar{X}-\mu {)}^2]\stackrel{◯}{2} \\ =\frac{1}{n}E[\sum _{i=1}^n(X_i-\mu {)}^2-n(\bar{X}-\mu {)}^2] \\ =\frac{1}{n}E\sum _{i=1}^n(X_i-\mu {)}^2-E(\bar{X}-\mu {)}^2\stackrel{◯}{3} \\ =D(X)-\frac{1}{n}D(X)\stackrel{◯}{4} \\ =\frac{n-1}{n}{\sigma }^2 \end{gathered}$$

解释1：$\stackrel{◯}{1}$到$\stackrel{◯}{2}$的推导
$\sum _{i=1}^n(X_i-\mu )(\bar{X}-\mu )=(\bar{X}-\mu )\sum _{i=1}^n(X_i-\mu )$，且
$\sum _{i=1}^n(X_i-\mu )=\sum _{i=1}^n(\bar{X}-\mu )$
可举例，如样本1，2，3，4，5，其中假设总体均值$\mu =1$，样本均值$\bar{X}=3$
$\sum _{i=1}^n(X_i-\mu )=0+1+2+3+4=10$
$\sum _{i=1}^n(\bar{X}-\mu )=2+2+2+2+2=10$

解释2：$\stackrel{◯}{3}$到$\stackrel{◯}{4}$的推导
$D(X)=\frac{1}{N}\sum _{i=1}^N(X_i-\mu {)}^2=\frac{1}{n}E\sum _{i=1}^n(X_i-\mu {)}^2={\sigma }^2$，减的是$\mu$，代表样本方差的期望值是总体方差
$$\begin{gathered} E(\bar{X}-\mu {)}^2 \\ =E(\bar{X}-E(\bar{X}){)}^2 \\ =D(\bar{X}) \\ =D(\frac{1}{n}\sum _{i=1}^n{X}_i) \\ =\frac{1}{n^2}\sum _{i=1}^{n}D(X_i) \\ =\frac{1}{n}D(X) \\ =\frac{1}{n}{\sigma }^2 \end{gathered}$$

可见，除非$n\to \infty$，否则就差一个$\frac{n}{n-1}$的倍数，所以要对$S^2$进行补偿，故引出新的无偏估计：

$S^2=\frac{n}{n-1}\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$

自由度：在这里经常会听到自由度的概念，可以理解为线性无关的量。

在样本中，已知样本均值和前 $n-1$ 个样本值，就可以计算出第 $n$ 个样本的值，可见最后一个样本与前$n-1$ 个样本线性相关，故自由度为 $n-1$ ；
而如果已知总体均值 $\mu$ 和前 $n-1$ 个样本值，无法计算出第 $n$ 个样本的值，故在$D(x)=\frac{1}{n}E\sum _{i=1}^n(X_i-\mu {)}^2={\sigma }^2$中除的是$n$

～～～～～～～～～～～～～～～分割线～～～～～～～～～～～～～～～～

额外记录向量方差

设向量 $x=\left[\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_n\end{array}\right]$，$E(x)=\left[\begin{array}{c}E(x_1)\\ E(x_2)\\ ...\\ E(x_n)\end{array}\right]$，

$$\begin{gathered} Var(x)=E[(x-\mu )(x-\mu {)}^T] \\ =\left[\begin{array}{cccc}var(x_1)& cov(x_1,x_2)& \cdots & cov(x_1,x_n)\\ cov(x_2,x_1)& cov(x_2,x_2)& \cdots & cov(x_2,x_n)\\ ⋮& ⋮& \ddots & ⋮\\ cov(x_n,x_1)& cov(x_n,x_2)& \cdots & cov(x_n,x_n)\end{array}\right] \end{gathered}$$

$$\begin{gathered} Var(Ax)=E[(Ax-A\mu )(Ax-A\mu {)}^T] \\ =E[A(x-\mu )(x-\mu {)}^T{A}^T] \\ =AE[(x-\mu )(x-\mu {)}^T]A^T \\ =AVar(x)A^T \end{gathered}$$