样本方差公式为什么除以的是n-1

本文是依照《彻底理解样本方差为何除以n-1》一文进行学习而做的学习笔记，是在学习前面一文的基础上，对某些步骤添加了一些自己的理解，如果有什么不对的地方还请各位道友多多指正哈！当然以后要是突然明白真正的道理的话还是会继续改正的~~下面进入正文

---

这位篇文章的博主其他文章也很好，需要的小伙伴要留意一下喔

---

*想到这个问题的来源：

在降维算法中，PCA使用的信息量衡量指标，就是样本方差，其公式如下
$$Var=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2$$

哎？突然发现，样本量不是n吗，为什么前面要除以一个n-1，按照正常来说不是除以n的吗

解释使用n-1的目的

其实，除以n-1就是为了得到样本方差的无偏估计，那么问题随之而来，什么是样本方差的无偏估计，凭什么就说除以n-1就可以，为什么不能除以n-2呢，带着这个问题，在下面就开始展开了和蔼可亲的长篇的验证

---

*对上方种种疑问的解决过程（证明为什么要使用n-1）

首先说明各个变量公式：

• $\bar{X}$ : 样本的均值
• $S^2$ : 样本方差
• $\mu$ : 总体均值
• ${\sigma }^2$ : 总体方差

样本方差$S^2$的公式：
$$S^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2$$

由上方提到过，n-1的目的是得到样本方差的无偏估计，那么什么是无偏估计

无偏估计（借用上方链接的例子来理解）：

假如你想知道一所大学里学生的平均身高是多少，一个大学好几万人，全部统计有点不现实，但是你可以先随机挑选100个人，统计他们的身高，然后计算出他们的平均值，记为$\overline{X_1}$。如果你只是把$\overline{X_1}$作为整体的身高平均值，误差肯定很大，因为你再随机挑选出100个人，身高平均值很可能就跟刚才计算的不同，为了使得统计结果更加精确，你需要多抽取几次，然后分别计算出他们的平均值，分别记为：$\overline{X_1}$、$\overline{X_2}$、$\dots$ $\overline{X_k}$ 然后在把这些平均值，再做平均，记为：$E(\bar{X})$，这样的结果肯定比只计算一次更加精确，随着重复抽取的次数增多，这个期望值会越来越接近总体均值$\mu$，如果满足$E(\bar{X})=\mu$，这就是一个无偏估计，其中统计的样本均值也是一个随机变量，$\overline{X_i}$就是$\bar{X}$的一个取值

无偏估计的意义是：在多次重复下，它们的平均数接近所估计的参数真值。

我们计算的样本方差，希望它是总体方差的一个无偏估计，那么假如我们的样本方差是如下形式：
$$S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2$$

根据无偏估计的定义可得：
$$\begin{array}{rl}E(S^2)& =E(\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2)\\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu )-(\bar{X}-\mu ){)}^2)对x_i和\bar{X}同时减去\mu \\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-2(x_i-\mu )(\bar{X}-\mu )+(\bar{X}-\mu {)}^2)打开平方\\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-\frac{1}{n}\sum _{i=1}^{n}2(x_i-\mu )(\bar{X}-\mu )+\frac{1}{n}\sum _{i=1}^n(\bar{X}-\mu {)}^2)\end{array}$$
对于均值的公式：

• $E(X)=\frac{1}{n}{\sum }_{i=1}^n{x}_i$
• $E(C)=C$ 常数的均值还是常数本身
• $E(CX)=CE(X)$
• 由于$\frac{1}{n}{\sum }_{i=1}^n{x}_i=\bar{X}$
• $\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu )=\frac{1}{n}{\sum }_{i=1}^n{x}_i-\mu =\bar{X}-\mu$

对于：
$$\begin{array}{rl}& \frac{1}{n}\sum _{i=1}^{n}2(x_i-\mu )(\bar{X}-\mu )对于\bar{X}和\mu 在这里都是常数，所以相减也为常数\\ & =2(\bar{X}-\mu )\ast \frac{1}{n}\sum _{i=1}^n(x_i-\mu )\\ & =2(\bar{X}-\mu )(\bar{X}-\mu )使用上面均值公式里面的第三第四点，对上式进行化简\\ & =2(\bar{X}-\mu {)}^2\end{array}$$

$$\begin{array}{rl}& \frac{1}{n}\sum _{i=1}^n(\bar{X}-\mu {)}^2\\ & =(\bar{X}-\mu {)}^2对于\bar{X}和\mu 在这里都是常数，所以相减也为常数\end{array}$$

对上方$E(S^2)$继续计算:
$$\begin{array}{rl}E(S^2)& =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-\frac{1}{n}\sum _{i=1}^{n}2(x_i-\mu )(\bar{X}-\mu )+\frac{1}{n}\sum _{i=1}^n(\bar{X}-\mu {)}^2)\\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-2(\bar{X}-\mu {)}^2+(\bar{X}-\mu {)}^2)由上面拆分出去化简的式子可得\\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-(\bar{X}-\mu {)}^2)\\ & =E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2)-E((\bar{X}-\mu {)}^2)\end{array}$$

突然发现$\mu$是总体均值，那么
$$\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2$$就是总体方差${\sigma }^2$，总体方差是根据总体数据求出来的（我理解的解释是只有一个总体方差），所以对其取均值还是本身：
$$\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2=E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2)={\sigma }^2$$
可以观察出
$$E(S^2)=\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2)-E((\bar{X}-\mu {)}^2\le {\sigma }^2$$
也就是说当除以的是n的时候，$E(S^2)\le {\sigma }^2$ 不符合无偏估计

为了寻找出一个正确的参数，让我们来继续对刚才的式子向下化简：

在上面已经说明
$$\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2$$就是总体方差${\sigma }^2$

所以设其为$Var(X)$代表的是总体方差，相应的$E(Var(X))=Var(X)$

对于$E((\bar{X}-\mu {)}^2$ 来说:
$$\begin{array}{rl}& E((\bar{X}-\mu {)}^2)\\ & =\frac{1}{n}\sum _{i=1}^n(\bar{X}-\mu {)}^2\\ & =Var(\bar{X})\end{array}$$

因为如果是无偏估计的话，n个$Var(\bar{X})$的期望值就是总方差，所以可以看成:
$$n\times Var(\bar{X})=Var(X)$$

根据上方拆分开化简的式子可得：
$$\begin{array}{rl}& E(\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2)-E((\bar{X}-\mu {)}^2)\\ & =Var(X)-Var(\bar{X})\\ & ={\sigma }^2-\frac{1}{n}{\sigma }^2\\ & =\frac{n-1}{n}{\sigma }^2\end{array}$$

突然发现$E(S_2)=\frac{n-1}{n}{\sigma }^2$，如果我们让他乘上一个$\frac{n}{n-1}$，结果就是${\sigma }^2$了：
$$E(S_2)=\frac{n-1}{n}{\sigma }^2\times \frac{n}{n-1}={\sigma }^2$$

于是根据我们得到的结论，将我们假设的$S^2$的基础上乘上一个$\frac{n}{n-1}变成新的S^2$:
$$S^2=\frac{n}{n-1}(\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2$$

对于新得到的$S^2$进行验证，如下（因为各个步骤的细节上方已经提到了，所以这里我就偷懒喽）：

$$\begin{array}{rl}& =E(\frac{1}{n-1}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n-1}\times n\times \frac{1}{n}\sum _{i=1}^n(x_i-\mu )(\bar{X}-\mu )+\frac{1}{n-1}\times n\times \frac{1}{n}\sum _{i=1}^n(\bar{X}-\mu {)}^2)\end{array}$$

由上方验证步骤就可以得出，修正之后的样本方差的期望是总体方差的一个无偏估计，这就是为什么分母为何要除以n-1，而不是n-2，n-3等等

---

如果有看到这里的小伙伴，觉得哪里有问题的话，还请多多指点哈~