从定义开始，一文看懂无偏估计的方差为什么是n-1

什么叫无偏估计？为什么方差的定义里写的是$\frac{1}{n}$，但又说无偏估计是$\frac{1}{n-1}$？好像有人说道自由度是$n-1$？自由度又是什么？

本文本着一切都从定义开始的原则，推导无偏估计的方差

设$X_1,X_1,\cdots ,X_n$是n个采样样本。则这n个样本的无偏估计下的方差为
$${\sigma }^2=\frac{1}{n-1}[\sum _{i=1}^n(X_i-\overline{X_i}{)}^2]$$

证明：
首先回顾方差期望的知识：

1.独立变量X和Y，期望值满足：$E(XY)=EX\ast EY$。
可以通过期望和独立的定义得出。
独立变量乘积的期望值的证明

2.方差、期望、协方差的性质总结：
由独立变量之间的方差的线性性质，容易得到$\bar{X}$的方差：
$$Var(\bar{X})=\frac{1}{n}Var(X)$$
证明在此。
或者写作：
$$\sigma (\bar{X}{)}^2=\frac{1}{n}\sigma (X{)}^2$$

3.二阶中心距：
由$Var(X)=E(X^2)-(E(X){)}^2$，可得：
$$E(X^2)=Var(X)+(E(X){)}^2={\sigma }^2+{\mu }^2$$
同理对于$\bar{X}$，则有：
$$E({\bar{X}}^2)=Var(\bar{X})+(E(\bar{X}){)}^2=\frac{1}{n}{\sigma }^2+{\mu }^2$$

4.无偏估计知识的复习：

无偏估计的定义是：对随机变量$\theta$的估计是$\hat{\theta }$，如果$E(\hat{\theta })=E(\theta )$，则称$\hat{\theta }$为$\theta$的无偏估计。

首先，方差的定义应该是$\frac{1}{n}[{\sum }_{i=1}^n(X_i-\mu {)}^2]$，其中$\mu =E(X_i)$。

注意，关键在于，我们不知道$\mu$，只有$\bar{X}$，但是$\bar{X}$ 不等于$\mu$。

我们先根据我们现有的$X_i$和$\bar{X}$来计算${\sum }_{i=1}^n(X_i-\overline{X_i}{)}^2$的期望。

$$E(\sum _{i=1}^n(X_i-\bar{X}{)}^2)$$
$$=E(\sum _{i=1}^n(X_i^2-2\bar{X}{X}_i+{\bar{X}}^2)$$
$$=E(\sum _{i=1}^n{X}_i^2)-E(\sum _{i=1}^{n}2\bar{X}{X}_i)+E(\sum _{i=1}^n{\bar{X}}^2)$$
$$=\sum _{i=1}^{n}E(X_i^2)-2E(\bar{X}\sum _{i=1}^n{X}_i)+\sum _{i=1}^{n}E({\bar{X}}^2)$$
$$=\sum _{i=1}^{n}E(X_i^2)-2E(\bar{X}\sum _{i=1}^n{X}_i)+n\cdot E({\bar{X}}^2)$$

其中第二项可以改写为：
$$2E(\bar{X}\sum _{i=1}^n{X}_i)=2E(\bar{X}\cdot n\bar{X})=2n\cdot E({\bar{X}}^2)$$
带入回去，第二三项合并得到：
$$E(\sum _{i=1}^n(X_i-\bar{X}{)}^2)=\sum _{i=1}^{n}E(X_i^2)-n\cdot E({\bar{X}}^2)$$
将第3点的中心距带入：
$$E(\sum _{i=1}^n(X_i-\bar{X}{)}^2)=\sum _{i=1}^n({\sigma }^2+{\mu }^2)-n\cdot (\frac{1}{n}{\sigma }^2+{\mu }^2)$$
$$=n({\sigma }^2+{\mu }^2)-n(\frac{1}{n}{\sigma }^2+{\mu }^2)$$
$$=(n-1){\sigma }^2$$
我们希望得到的是$\sigma$，而我们可以算出的是$E({\sum }_{i=1}^n(X_i-\bar{X}{)}^2)$。因此，只要我们最开始的公式中加一个$1/(n-1)$，就能无偏的计算出方差。
因此，无偏的方差应该是：
$${\sigma }^2=\frac{1}{n-1}[\sum _{i=1}^n(X_i-\overline{X_i}{)}^2]$$

附：

《概率论与数理统计教程》茆诗松 高等教育出版社： P296
无偏估计：对于总体，样本均值是总体均值的无偏估计，如果k阶原点距期望存在，则样本的k阶原点矩也是无偏估计， 但中心距不是。
但不具有不变性，即：若$\hat{\theta }$是$\theta$的无偏估计， $g(\hat{\theta })$不一定是$g(\theta )$的无偏估计，除非是线性函数。