样本方差分母为什么是n-1？——无偏估计

1 总体方差和样本方差

首先要分清总体和样本:

• 总体：研究对象的整个群体
  比如总共10名玩家的年龄。
• 样本：总体的一个子集
  比如其中5名队员玩家的年龄。

方差（Variance），衡量随机变量或一组数据离散程度的度量。根据总体和样本的区别分为总体方差和样本方差两种。

• 总体方差定义为：

$${\sigma }^2=\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{n}$$

• 样本方差被定义为：

$$S^2=\frac{{\sum }_{i=1}^n(X_i-\bar{x}{)}^2}{n-1}$$

在实际应用中是通过在总体中取样本，用其样本均值和样本方差$S^2$来估计总体的均值${\sigma }^2$：

$$S^2\to {\sigma }^2$$

但是这样会产生一个问题，这两个在什么情况下能够等价？

下面举一个例子，假设我们抽取一个样本包含三个数据点：$x_1,x_2,x_3$，然后我们可以计算它的方差，当然这个方差还是除以$n$意义下的方差：

$$\begin{array}{rl}{S}^2& =\frac{(x_1-\mu {)}^2+(x_2-\mu {)}^2+(x_3-\mu {)}^2}{3}\\ & =\frac{3}{n}{\mu }^2-2\frac{x_1+x_2+x_3}{3}\mu +\frac{x_1^2+x_2^2+x_3^2}{3}\end{array}$$

由上可见这是一个二次函数，我们可以将其画出来：

上图中，横坐标为均值$\mu$，纵坐标为方差$S^2$。当均值在变动的时候，方差也随之变化：

方差最小的地方对应的值为：

$$\frac{b}{-2a}=\frac{-2\frac{x_1+x_2+x_3}{3}}{-2\frac{3}{3}}=\bar{x}$$

所以发现用样本均值算出的样本方差$S^2$是其所有可能取值的下限。所以有关系：

$$\frac{\sum (x-\bar{x}{)}^2}{n}<\frac{\sum (x-\mu {)}^2}{N}$$

其中$n$为样本个数，$N$为总体个数，或者：

$$\sum _{i=1}^n(X_i-\bar{X}{)}^2<\sum _{i=1}^n(X_i-\mu {)}^2$$

这里需要分析一下是哪种情况？？？？？？

这会导致：

$$S^2=\frac{{\sum }_{i=1}^n(X_i-\bar{x}{)}^2}{n}<{\sigma }^2=\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{n}$$

所以直观来说需要调节$S^2$中的分母的大小（调小）。

2 方差的无偏估计

• 无偏估计

当我们用样本统计量来估计总体参数时，如果估计量的数学期望等于被估计参数的真实值，我们该估计量为被估计参数的无偏估计，即具有无偏性，是一种用于评价估计量优良性的准则。

而在这里我们就是希望：

$$E(S^2)={\sigma }^2$$

假设总体有10个数据，然后我们抽取5个数据来计算方差$S_1^2$，然后重复这个步骤，最终得到$S_1^2,S_2^2,\cdots ,S_{252}^2$，然后我们希望：

$$E(S_i^2)=\frac{S_1^2+S_2^2+\cdots +S_{252}^2}{252}={\sigma }^2$$

即用样本的方差去估计真实的总体方差

• 公式推导

$$\begin{array}{rl}E(S^2)& =E\left(\frac{{\sum }_{i=1}^n(X_i-\bar{x}{)}^2}{n-1}\right)\\ & =\frac{1}{n-1}E\left(\sum _{i=1}^n(X_i-\bar{x}{)}^2\right)\\ & =\frac{1}{n-1}E\left(\sum _{i=1}^n((X_i-\mu )+(\mu -\bar{x}){)}^2\right)\\ & =\frac{1}{n-1}E\left(\sum _{i=1}^n\left((X_i-\mu {)}^2+2(X_i-\mu )(\mu -\bar{x})+(\mu -\bar{x}{)}^2\right)\right)\end{array}$$

1）其中上式的第一项可以化简为：

$${\sigma }^2=\frac{{\sum }_{i=1}^n(X_i-\mu {)}^2}{n}\to n{\sigma }^2=\sum _{i=1}^n(X_i-\mu {)}^2$$

由于$n{\sigma }^2$为常数，则：

$$\frac{1}{n-1}E\left(\sum _{i=1}^n(X_i-\mu {)}^2\right)=\frac{1}{n-1}E(n{\sigma }^2)=\frac{n}{n-1}{\sigma }^2$$

2）前式第二项可以化简为：

$$\begin{array}{rl}& \frac{1}{n-1}E\left(\sum _{i=1}^{n}2(X_i-\mu )(\mu -\bar{x})\right)\\ & =\frac{2}{n-1}E\left((\mu -\bar{x})\left(\sum _{i=1}^n(X_i-\mu )\right)\right)\\ & =\frac{2}{n-1}E\left((\mu -\bar{x})\left(\sum _{i=1}^n{X}_i-n\mu \right)\right)\\ & =\frac{2}{n-1}E\left((\mu -\bar{x})\left(n\bar{x}-n\mu \right)\right)\\ & =-\frac{2n}{n-1}E\left((\mu -\bar{x}{)}^2\right)\end{array}$$

3）第三项可以化简为：

$$\begin{array}{rl}& \frac{1}{n-1}E\left(\sum _{i=1}^n(\mu -\bar{x}{)}^2\right)\\ & =\frac{n}{n-1}E\left((\mu -\bar{x}{)}^2\right)\end{array}$$

4）合并第二项和第三项得：

$$-\frac{n}{n-1}E\left((\mu -\bar{x}{)}^2\right)$$

而

$$\begin{array}{rl}& E\left((\mu -\bar{x}{)}^2\right)\\ & =E\left({\left(\frac{1}{n}\sum _{i=1}^n{x}_i-\frac{1}{n}n\mu \right)}^2\right)\\ & =\frac{1}{n^2}E\left({\left(\sum _{i=1}^n{x}_i-n\mu \right)}^2\right)\\ & =\frac{1}{n^2}E\left({\left(\sum _{i=1}^n{x}_i-E\left(\sum _{i=1}^n{x}_i\right)\right)}^2\right)\end{array}$$

此时将${\sum }_{i=1}^n{x}_i$看作变量，则：

$$E\left({\left(\sum _{i=1}^n{x}_i-E\left(\sum _{i=1}^n{x}_i\right)\right)}^2\right)=var\left(\sum _{i=1}^n{x}_i\right)$$

当$x_i$之间是相互独立的时候：

$$var\left(\sum _{i=1}^n{x}_i\right)=\sum _{i=1}^{n}var\left(x_i\right)$$

所以：

$$E\left({\left(\sum _{i=1}^n{x}_i-E\left(\sum _{i=1}^n{x}_i\right)\right)}^2\right)=\sum _{i=1}^{n}var\left(x_i\right)=\sum _{i=1}^n{\sigma }^2$$

所以：

$$\begin{array}{rl}& E\left((\mu -\bar{x}{)}^2\right)\\ & =\frac{1}{n^2}E\left({\left(\sum _{i=1}^n{x}_i-E\left(\sum _{i=1}^n{x}_i\right)\right)}^2\right)\\ & =\frac{1}{n^2}\sum _{i=1}^n{\sigma }^2\\ & =\frac{1}{n}{\sigma }^2\end{array}$$

所以：

$$-\frac{1}{n-1}E\left((\mu -\bar{x}{)}^2\right)=-\frac{n}{n-1}\frac{1}{n}{\sigma }^2=-\frac{1}{n-1}{\sigma }^2$$

5）所以原式得：

$$\begin{array}{rl}E(S^2)& =\frac{n}{n-1}{\sigma }^2-\frac{1}{n-1}{\sigma }^2\\ & ={\sigma }^2\end{array}$$

由此证毕。

3 从自由度角度理解样本方差为什么除以$n-1$？

现在从自由度的角度解释为何样本方差为什么除$n-1$。首先明确自由度的概念：自由度（degree of freedom，df）指的是计算某一统计量时，取值不受限制的变量个数，比如取三个变量$x,y,z$，然后计算平均值为$\frac{x+y+z}{3}$，则此时自由度为3个。但是给定约束$x+y+z=10$之后，假设$x,y$为自由变量，则此时$z$不再是自由变量，平均值的自由度降为2个。

应用在样本方差的公式中：

$$S^2=\frac{{\sum }_{i=1}^n(X_i-\bar{x}{)}^2}{n}$$

假设抽取三个数据，其中$\bar{x}=\frac{x_1+x_2+x_3}{3}$，则计算方差的公式的分母$(x_1-\bar{x}{)}^2+(x_2-\bar{x}{)}^2+(x_3-\bar{x}{)}^2$的自由度不再是3个，而应该是2个，应为当给定$x_1,x_2$或者其中两项时，$(x_3-\bar{x}{)}^2$已经确定了。

值得注意的是，这里样本方差分母上的自由度不再是变量的自由度，而是以$(x_i-\bar{x}{)}^2$的自由度，否则的话，变量的自由度依旧为3不变！

所以当样本量为$n$的时候，计算样本方差需要除以自由度$n-1$。

统计量	自由度	公式
样本平均数	$n$	$\frac{{\sum }_{i=1}^n{x}_i}{n}$
样本方差	$n-1$	$\frac{{\sum }_{i=1}^n(X_i-\bar{x}{)}^2}{n-1}$
一元回归	$n-2$	${\hat{\sigma }}^2=\frac{{\sum }_{i=1}^n{e}_i^2}{n-2}$
多元回归	$n-k-1$	${\hat{\sigma }}^2=\frac{{\sum }_{i=1}^n{e}_i^2}{n-k-1}$

参考资料：

样本方差为什么要除以n-1

样本方差分母为什么是n-1\自由度\无偏估计量\公式推导