快速搞懂无偏估计及样本方差中的n-1

1. 期望EX，方差DX
   我们知道任一样本和总体是同分布的，所以任一样本的期望即总体期望（均值），任一样本的方差即总体方差。所以对于任一样本X，有：$$\begin{gathered} EX=\mu ,E(cX)=cEX,E(c)=c \\ DX=E(X-EX{)}^2 \\ =E(X^2-2X\mu +{\mu }^2) \\ =E{X}^2-{\mu }^2={\sigma }^2 \\ D(c)=0,D(cX)=c^{2}DX \end{gathered}$$其中，$\mu ,c,{\sigma }^2$均为常数。由于样本是随机选取的，所以这里隐含了一个假设：两个不同的样本X和Y相互独立，此时$EXY=EXEY$。
   设$\bar{X}$为样本均值，则有：$$\begin{gathered} E\bar{X}=\frac{1}{n}\sum _{i=1}^{n}E{X}_i=\mu ,D\bar{X}=\frac{1}{n^2}\sum _{i=1}^{n}D{X}_i=\frac{{\sigma }^2}{n} \\ D\bar{X}=E(\bar{X}-E\bar{X}{)}^2=E{\bar{X}}^2-{\mu }^2 \\ E{\bar{X}}^2={\mu }^2+D\bar{X}={\mu }^2+\frac{{\sigma }^2}{n} \end{gathered}$$设$S^2=\frac{1}{n}\sum _{i=1}^n{(X_i-\mu )}^2$为样本方差，则$E{S}^2=\frac{1}{n}\sum _{i=1}^{n}E{(X_i-\mu )}^2={\sigma }^2$。
2. 估计量
   我们已经知道样本均值的期望等于总体均值，样本方差的期望等于总体方差。然而，在现实中，样本的总体均值一般难以求得，这就需要求总体的估计（量）了。统计学中的估计量是对整体样本的一个估计量，比如要统计一百万人的平均身高，一个个统计是不现实的，此时可以用样本均值来代替这一百万人（总体）身高的平均值，即：随机抽取一些人，比如100个，那么就可以用这100个人的身高的平均值来代替总体均值。然而，它是有条件的，只有当样本均值的期望等于总体均值时，才可用样本均值来代替总体均值，此时的样本均值称为总体的一个无偏估计，若该样本均值的期望不等于总体均值则是有偏估计。方差同理，当一个样本方差的期望等于总体方差时，该样本方差是总体的一个无偏估计，否则是有偏估计。
3. 总体方差的无偏估计
   我们知道在现实中，样本的总体均值一般难以求得，所以理论上的样本方差不适用，只能用样本均值来代替样本方差中的$\mu$，而为了使新的样本方差仍然是总体方差的无偏估计，我们有：$$E{S}^2=E\frac{1}{m}\sum _{i=1}^n{(X_i-\bar{X})}^2={\sigma }^2$$所以：$$\begin{gathered} E\frac{1}{m}\sum _{i=1}^n{(X_i-\bar{X})}^2=\frac{1}{m}\sum _{i=1}^{n}E{(X_i-\bar{X})}^2 \\ =\frac{1}{m}\sum _{i=1}^n[E{X_i}^2-2E(X_i\frac{1}{n}\sum _{j=1}^n{X}_j)+E{\bar{X}}^2] \end{gathered}$$由两个不同样本之间相互独立，得：$$\begin{gathered} \frac{1}{m}\sum _{i=1}^n[E{X_i}^2-2E(X_i\frac{1}{n}\sum _{j=1}^n{X}_j)+E{\bar{X}}^2] \\ =\frac{1}{m}\sum _{i=1}^n[E{X_i}^2-\frac{2}{n}[E{X}_i^2+(n-1)E^2{X}_i]+E{\bar{X}}^2] \\ =\frac{1}{m}\sum _{i=1}^n[{\mu }^2+{\sigma }^2-\frac{2}{n}[{\mu }^2+{\sigma }^2+(n-1){\mu }^2]+{\mu }^2+\frac{{\sigma }^2}{n}] \\ =\frac{1}{m}\sum _{i=1}^n\frac{n-1}{n}{\sigma }^2=\frac{n-1}{m}{\sigma }^2 \end{gathered}$$显然，$m=n-1$，所以总体方差的无偏估计为$$S^2=\frac{1}{n-1}\sum _{i=1}^n{(X_i-\bar{X})}^2$$