有偏估计 and 无偏估计 - 方差分母 n-1（详细证明）

最近在写一个 Feature Engineering Method 的 Python 库，其中在计算相似度的库中有一个方法，叫做 Pearson 系数，其中包含了方差以及协方差的计算，但分母为 n-1 而不是小时候学习的除以 n，于是乎查阅资料，学习到了有偏估计与无偏估计，在这里总结一下。

• 均值 - 无偏估计

  以计算学生身高为例，世界上有学生很多，想要知道世界上所有学生身高的均值 $\mu$，我们会采用这种方式：

  $\mu =\frac{1}{N}{\sum }_{i=1}^N{h}_i，h_i$ 表示第 $i$ 个学生的身高，$N$ 为世界上所有学生的人数。

  但是世界上的学生不计其数，我们无法获取所有学生的身高，所以我们想出了采样的方法，通过计算样本的平均身高 $\bar{h}$ 来 近似 真实 的 $\mu$，所以我们采用：

  $\bar{h}=\frac{1}{n}{\sum }_{i=1}^n{h}_i，n$ 为采集到的样本大小，10 个学生，那我们便计算 10 个学生的均值，以此类推。

  经过多次采样后会发现，多次的均值 $\bar{h}$ 会在 $\mu$ 周围波动（我们假设 $\mu$ 已知，其实这个老天爷知道）。

  均值是一个无偏估计，在证明之前，先罗列需要用到的几个公式，对随机变量 $H$ 有：

  $E(a{h}_i)=a\cdot E(h_i)$

  $E({\sum }_{i=1}^n{h}_i)={\sum }_{i=1}^{n}E(h_i)$

  证明如下：

  $\begin{array}{rl}E[\bar{h}]=& E[\frac{{\sum }_{i=1}^n{h}_i}{n}]\\ =& \frac{1}{n}\sum _{i=1}^{n}E[h_i]\\ =& \frac{1}{n}\sum _{i=1}^n\mu \\ =& \mu \end{array}$

  也就是说 $\bar{h}$ 的期望等于随机变量 $h$ 的期望 $\mu$，所以是无偏估计。

• 方差 - 有偏估计

  现在我们想要看一下世界上所有学生身高的稳定程度，那么就要计算学生身高的方差：

  ${\sigma }^2=\frac{1}{N}{\sum }_{i=1}^N(h_i-\mu {)}^2$

  但是我们遇到了同样的问题，无法获取所有学生的身高，所以同样采样：

  $S^2=\frac{1}{n}{\sum }_{i=1}^n(h_i-\mu {)}^2$

  利用 $S^2$ 来近似 ${\sigma }^2$，此时便出现了一个问题，$\mu$ 是未知的，所以我们只能使用均值 $\bar{h}$ 来代替，于是得到：

  $S^2=\frac{1}{n}{\sum }_{i=1}^n(h_i-\bar{h}{)}^2$

  但是在替换之后问题便出现了，根据最小二乘法，均方差的最优解（能取得 $S^2$ 最小值的解）就是 $\bar{h}$，即：

  $\bar{h}={}_{h_{\ast }}^{argmin}[\frac{1}{n}{\sum }_{i=1}^n(h_i-h_{\ast }{)}^2]$

  既然 $h_{\ast }=\bar{h}$ 时$S^2$ 最小，那么我们将 $\mu$ 替换成 $\bar{h}$ 后则一定有如下不等式成立：

  $\frac{1}{n}{\sum }_{i=1}^n(h_i-\bar{h}{)}^2\le \frac{1}{n}{\sum }_{i=1}^n(h_i-\mu {)}^2$

  即 $S^2\le {\sigma }^2$

  可见，用$S^2$ 来近似，低估了 ${\sigma }^2$。其实我们希望是这样的 $E[S^2]={\sigma }^2$，但此时却被低估了。（类似均值 $E[\bar{h}]=\mu$，这里 $S^2$ 对应 $\bar{h}$ 属于近似值，${\sigma }^2$ 对应 $\mu$ 属于真实期望值）

• 方差 - 转换成无偏估计

  那具体低估了多少呢？算一下：

  $\begin{array}{rl}E[S^2]=& E[\frac{1}{n}\sum _{i=1}^n(h_i-\bar{h}{)}^2]\\ =& E[\frac{1}{n}\sum _{i=1}^n((h_i-\mu )-(\bar{h}-\mu ){)}^2]\\ =& E[\frac{1}{n}\sum _{i=1}^n((h_i-\mu {)}^2+(\bar{h}-\mu {)}^2-2(h_i-\mu )(\bar{h}-\mu )]\\ =& E[\frac{1}{n}\sum _{i=1}^n(h_i-\mu {)}^2+\frac{1}{n}\sum _{i=1}^n(\bar{h}-\mu {)}^2-\frac{1}{n}\sum _{i=1}^{n}2(h_i-\mu )(\bar{h}-\mu )]\\ =& E[\frac{1}{n}\sum _{i=1}^n(h_i-\mu {)}^2]+E[(\bar{h}-\mu {)}^2-\frac{2}{n}(\bar{h}-\mu )\sum _{i=1}^n(h_i-\mu )]\\ =& {\sigma }^2+E[(\bar{h}-\mu {)}^2-\frac{2}{n}(\bar{h}-\mu )\sum _{i=1}^n(h_i-\mu )]\end{array}$

  其中，

  $\begin{array}{rl}\bar{h}-\mu =& \sum _{i=1}^n{h}_i-\mu \\ =& \frac{1}{n}\sum _{i=1}^n{h}_i-\frac{1}{n}\sum _{i=1}^n\mu \\ =& \frac{1}{n}\sum _{i=1}^n(h_i-\mu )\end{array}$

  且有：$n(\bar{h}-\mu )={\sum }_{i=1}^n(h_i-\mu )$

  将此结果代入得，

  $\begin{array}{rl}E[S^2]=& {\sigma }^2+E[(\bar{h}-\mu {)}^2-\frac{2}{n}(\bar{h}-\mu )\sum _{i=1}^n(h_i-\mu )]\\ =& {\sigma }^2+E[(\bar{h}-\mu {)}^2-2(\bar{h}-\mu {)}^2]\\ =& {\sigma }^2-E[(\bar{h}-\mu {)}^2]\end{array}$

  又，已知计算法则：

  $E[(X-E[X])]=var(X)$

  $var(a{h}_i)=a^2\cdot var(h_i)$

  $var({\sum }_{i=1}^n{h}_i)={\sum }_{i=1}^{n}var(h_i)$

  所以，

  $\begin{array}{rl}E[(\bar{h}-\mu {)}^2]& =E[(\bar{h}-E[\bar{h}]{)}^2]=var(\bar{h})\\ & =var\left(\frac{{\sum }_{i=1}^n{h}_i}{n}\right)\\ & =\frac{1}{n^2}var\left(\sum _{i=1}^n{h}_i\right)\\ & =\frac{1}{n^2}\sum _{i=1}^{n}var\left(h_i\right)\\ & =\frac{n{\sigma }^2}{n^2}\\ & =\frac{{\sigma }^2}{n}\end{array}$

  将结果 $E[(\bar{h}-\mu {)}^2]=\frac{{\sigma }^2}{n}$ 代入得：

  $\begin{array}{rl}E[S^2]=& {\sigma }^2-E[(\bar{h}-\mu {)}^2]\\ =& {\sigma }^2-\frac{{\sigma }^2}{n}\\ =& \frac{n-1}{n}{\sigma }^2\end{array}$

  所以 $S^2$ 对 ${\sigma }^2$ 低估了 $\frac{{\sigma }^2}{n}$，

  $E[S^2]=E[\frac{1}{n}{\sum }_{i=1}^n(h_i-\bar{h}{)}^2]=\frac{n-1}{n}{\sigma }^2$

  用 $S^2$ 进行近似，相当于只得到了 $\frac{n-1}{n}{\sigma }^2$

  调整式子后，

  $\frac{n}{n-1}E[\frac{1}{n}{\sum }_{i=1}^n(h_i-\bar{h}{)}^2]={\sigma }^2$

  最终得，

  $E[\frac{1}{n-1}{\sum }_{i=1}^n(h_i-\bar{h}{)}^2]={\sigma }^2$

  所以，如果想要使得估计值等于 ${\sigma }^2$，应使用 $\frac{1}{n-1}{\sum }_{i=1}^n(h_i-\bar{h}{)}^2$

  使用$\frac{1}{n-1}$ 时才是无偏估计。