【概率论】关于为什么样本标准偏差分母是n-1的进一步理解

上接物理实验引发的思考：总体标准偏差和样本标准偏差的区别是什么？标准偏差和标准误的区别是什么？，现在系统地学了概率论与数理统计，有了新的理解。

---

首先我们再回顾一些概念。设总体为$X$，样本为$X_1,X_2,\cdots ,X_n$，这些样本相互独立且与$X$同分布。定义样本均值$\bar{X}=\frac{\sum _{i=1}^n{X}_i}{n}$，样本方差$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n-1}\left(\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2\right)$，样本标准差$S=\sqrt{S^2}$。为什么要除以$n-1$呢？我有两种思考方式。

第一种，想一个极端一点的情况。假如$n=1$，即只有一个样本的时候会发生什么呢？如果分母是$n-1$，那么因为$\frac{1}{n-1}$不存在，所以样本方差也不存在，这与我们的认识是相符的——只有一个点不能反映样本分布的离散程度。但如果分母是$n$会怎么样呢？此时样本方差应该为$\frac{1}{1}(X_1-\bar{X}{)}^2=(X_1-X_1{)}^2=0$。这显然是不对的，方差为$0$说明这个随机变量只能取一个值，而只有一个样本并不能证明这一点。显然，当$n=1$的时候，我们希望方差不存在，所以分母取$n-1$是合情合理的。

第二种，我们考虑一下无偏性的定义。我们算样本方差$S^2$，最终目的是要估计总体方差${\sigma }^2$，根据无偏性的定义，应该要求$E(S^2)={\sigma }^2$，即要求$S^2$的期望是${\sigma }^2$。假设$S^2=\frac{1}{C}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{C}\left(\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2\right)$，我们将证明：当$E(S^2)={\sigma }^2$时，有$C=n-1$。
$$\begin{array}{rl}E(S^2)& =E\left[\frac{1}{C}\sum _{i=1}^n(X_i-\bar{X}{)}^2\right]\\ & =\frac{1}{C}E\left[\sum _{i=1}^n(X_i-\bar{X}{)}^2\right]\\ & =\frac{n}{C}E\left[(X_i-\bar{X}{)}^2\right]\end{array}$$
其中$i$可以是$1,2,\cdots ,n$中的任意一个数（反正都一样）。
那么$E\left[(X_i-X{)}^2\right]$等于多少呢？我们知道，随机变量$Z$的方差$D(Z)=E(Z^2)-[E(Z){]}^2$，因此$E\left[(X_i-\bar{X}{)}^2\right]=D(X_i-\bar{X})+[E(X_i-\bar{X}){]}^2$。其中$E(X_i-\bar{X})=0$，所以就变成了$E\left[(X_i-\bar{X}{)}^2\right]=D(X_i-\bar{X})$。
而我们又知道$D(A-B)=D(A)+D(B)-2\text{Cov}(A,B)$，其中$\text{Cov}(A,B)$表示$A$和$B$的协方差。那么$$D(X_i-\bar{X})=D(X_i)+D(\bar{X})-2\text{Cov}(X_i,\bar{X})$$而$D(X_i)={\sigma }^2$，$D(\bar{X})=D\left[\frac{1}{n}\sum _{i=1}^n{X}_i\right]=\frac{1}{n^2}nD(X_i)=\frac{{\sigma }^2}{n}$，现在就是要求$\text{Cov}(X_i,\bar{X})$。
设总体的均值为$E(X)=\mu$，则$$\begin{array}{rl}\text{Cov}(X_i,\bar{X})& =E(X_i\bar{X})-E(X_i)E(\bar{X})\\ & =E\left[\frac{1}{n}\sum _{j=1}^n{X}_j{X}_i\right]-{\mu }^2\\ & =\frac{1}{n}\left[\sum _{\underset{j\ne i}{j=1}}^{n}E(X_j{X}_i)+E(X_i^2)\right]-{\mu }^2\end{array}$$当$j\ne i$时，$E(X_j{X}_i)=E(X_j)E(X_i)={\mu }^2$，而$E(X_i^2)=D(X_i)+[E(X_i){]}^2={\sigma }^2+{\mu }^2$，故$$\begin{array}{rl}\text{Cov}(X_i,\bar{X})& =\frac{1}{n}\left[(n-1){\mu }^2+{\sigma }^2+{\mu }^2\right]-{\mu }^2\\ & =\frac{{\sigma }^2}{n}\end{array}$$因此$$D(X_i-\bar{X})=D(X_i)+D(\bar{X})-2\text{Cov}(X_i,\bar{X})=\frac{n-1}{n}{\sigma }^2$$令$E(S^2)={\sigma }^2$，即$\frac{n}{C}D(X_i-\bar{X})={\sigma }^2$，得$C=n-1$。
从上面的推导中，我们观察出：导致$n-1$出现的原因是$\text{Cov}(X_i,\bar{X})$不为$0$。这很好理解：$\bar{X}$的一部分就是$X_i$，二者是有相关性的。试想一下，如果$X_i$减的不是$\bar{X}$，而是$\mu$，那么就不用减去协方差了，最后就得到$C=n$。
综上，分母是$n-1$而不是$n$的原因是：我们无法获知总体均值$\mu$，只能使用样本均值$\bar{X}$代替，而样本均值本身就是由各个$X_i$组成的，$X_i$围绕$\bar{X}$的离散程度会比围绕$\mu$小一些，所以如果分母是$n$就低估了方差值，应该变成$n-1$从而使方差大一些。

---

其实在算$E(S^2)$有更简单的方法——利用$S^2=\frac{1}{C}\left(\sum _{i=1}^n{X}_i^2-n{\bar{X}}^2\right)$计算，但不直观，所以我们采用了更能反映问题本质的方法。