有偏估计 and 无偏估计

本篇为《深度学习》系列博客的第六篇，该系列博客主要记录深度学习相关知识的学习过程和自己的理解，方便以后查阅。

看PCA时遇到方差计算公式分母是n-1而不是n，于是查阅资料就发现有偏估计和无偏估计，并且可以把有偏估计转换为无偏估计，这里做一下笔记。

均值 - 无偏估计

现实中常常有这样的问题，比如，想知道全体女性的身高均值$\mu$，但是没有办法把每个女性都进行测量，只有抽样一些女性来估计全体女性的身高：

比如说我们采样到的女性身高分别为：
{ x 1 , x 2 , ⋯   , x n } 　 　 \{x_1,x_2,\cdots,x_n\}　　 {x1​,x2​,⋯,xn​}　　

那么：
$$\overline{X}=\frac{x_1+x_2+\cdots +x_n}{n}\text{\hspace{1em}(1)}$$

是对$\mu$不错的一个估计，为什么？因为它是无偏估计。

首先，真正的全体女性的身高均值$\mu$，我们是不知道，只有上帝才知道，在图中就画为虚线：

我们通过采样计算出$\overline{X}$：

会发现，不同采样得到的$\bar{X}$是围绕$\mu$左右波动的.

均值是一个无偏估计，在证明之前，先罗列需要用到的几个公式，对随机变量$X$有：
$$\begin{gathered} E(a{x}_i)=aE(x_i) \\ E(\sum _{i=1}^n{x}_i)=\sum _{i=1}^{n}E(x_i)\text{\hspace{1em}(2)} \end{gathered}$$

证明如下：
$$E[\overline{h}]=E[\frac{{\sum }_{i=1}^n{x}_i}{n}]=\frac{1}{n}\sum _{i=1}^{n}E(x_i)=\frac{1}{n}\sum _{i=1}^n\mu =\mu \text{\hspace{1em}(3)}$$

也就是说$\bar{h}$的期望等于随机变量$h$的期望$\mu$，所以是无偏估计。

方差 - 有偏估计

现在我们想要看一下世界上所有学生身高的稳定程度，那么就要计算学生身高的方差：
$${\sigma }^2=\frac{1}{N}\sum _{i=1}^N(h_i-\mu {)}^2\text{\hspace{1em}(4)}$$

但是我们遇到了同样的问题，无法获取所有学生的身高，所以同样采样：
$$S^2=\frac{1}{n}\sum _{i=1}^n(h_i-\mu {)}^2\text{\hspace{1em}(5)}$$

利用$S^2$来近似${\sigma }^2$，此时便出现了一个问题，$\mu$是未知的，所以我们只能使用均值$\bar{h}$来代替，于是得到：
$$S^2=\frac{1}{n}\sum _{i=1}^n(h_i-\bar{h}{)}^2\text{\hspace{1em}(6)}$$

但是在替换之后问题便出现了，根据最小二乘法，均方差的最优解（能取得$S^2$最小值的解）就是$\bar{h}$，即：
$$\bar{h}=argmi{n}_{h_{\ast }}[\frac{1}{n}\sum _{i=1}^n(h_i-h_{\ast }{)}^2]\text{\hspace{1em}(7)}$$

既然$h_{\ast }=\bar{h}$时$S^2$最小，那么我们将$\mu$替换成$\bar{h}$后则一定有如下不等式成立：
$$\frac{1}{n}\sum _{i=1}^n(h_i-\bar{h}{)}^2<=\frac{1}{n}\sum _{i=1}^n(h_i-\mu {)}^2\text{\hspace{1em}(8)}$$

即：
$$S^2<={\sigma }^2\text{\hspace{1em}(9)}$$

可见，用$S^2$来近似，低估了${\sigma }^2$。其实我们希望是这样的$E[S^2]={\sigma }^2$，但此时却被低估了。（类似均值$E[\bar{h}]=\mu$，这里$S^2$对应$\bar{h}$属于近似值，${\sigma }^2$对应$\mu$属于真实期望值）

为什么样本方差（sample variance）的分母是 n-1？

先把问题完整地描述下。

如果已知随机变量$X$的期望为$\mu$，那么可以如下计算方差${\sigma }^2$：
$${\sigma }^2=E[(X-E(X){)}^2]＝E[(X-\mu {)}^2]\text{\hspace{1em}(10)}$$

这里说一下，方差有两种计算公式，上面的公式是概率的计算公式，而下面的公式是统计的计算公式。

上面的式子需要知道$X$的具体分布是什么（在现实应用中往往不知道准确分布），计算起来也比较复杂。

所以实践中常常采样之后，用下面这个$S^2$来近似${\sigma }^2$：

为什么可以近似？初次考虑的是这两个式子是不同领域内的对同一量的定义公式，可以相互替换，但是为什么不同领域的不同的定义式可以表达同一个量？后面讨论一下！

$$S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2\text{\hspace{1em}(11)}$$

其实现实中，往往连$X$的期望$\mu$也不清楚，只知道样本的均值：
$$\bar{X}=\frac{1}{n}\sum _{i=1}^n{x}_i\text{\hspace{1em}(12)}$$

那么可以这么来计算$S^2$：
$$S^2=\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2\text{\hspace{1em}(13)}$$

那这里就有两个问题了：

1. 为什么可以用$S^2$来近似${\sigma }^2$？
2. 为什么使用$S^2$替代${\sigma }^2$之后，分母是$n-1$？

我们来仔细分析下细节，就可以弄清楚这两个问题。

为什么可以用$S^2$来近似${\sigma }^2$

因为式(10)和式(11)可以转化：
$$E[S^2]=E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2]=\frac{1}{n}\sum _{i=1}^{n}E[(x_i-\mu {)}^2]={\sigma }^2\text{\hspace{1em}(14)}$$

同式(3)一样，这是一个无偏估计，所以可以用$S^2$来近似${\sigma }^2$。

那为什么会存在有偏估计，那是因为我们将式(11)近似成了式(13)，即用$\bar{X}$替换了$\mu$产生了偏差，那这个偏差是多少，我们下个小标题讨论。

举个例子说明用$S^2$来近似${\sigma }^2$，假设$X$服从这么一个正态分布：
$$X～N(145，1.4^2)$$

即， $\mu =145，{\sigma }^2=1.4^2=1.96$，图形如下：

当然，现实中往往并不清楚X服从的分布是什么，具体参数又是什么？所以用虚线来表明我们并不是真正知道$X$的分布：

很幸运的，我们知道$\mu =145$，因此对$X$采样，并通过：
$$S^2=\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2\text{\hspace{1em}(15)}$$

来估计${\sigma }^2$。某次采样计算出来的$S^2$：

看起来比${\sigma }^2$要小。采样具有随机性，我们多采样几次， $S^2$会围绕${\sigma }^2$上下波动：

由式(14)及中心极限定理得，$S^2$的采样均值会服从${\mu }^{\prime }={\sigma }^2=1.4^2$的正态分布：

这也就是所谓的无偏估计量。从这个分布来看，选择$S^2$作为估计量确实可以接受。

为什么使用$\bar{X}$替代$\mu$之后，分母是$n-1$

更多的情况，我们不知道$\mu$是多少的，只能计算出$\bar{X}$。不同的采样对应不同的$\bar{X}$：

对于某次采样而言，当$\mu =\bar{X}$时，下式取得最小值：
$$\sum _{i=1}^n(X_i-\mu {)}^2\text{\hspace{1em}(16)}$$

我们也是比较容易从图像中观察出这一点，只要$\mu$偏离$\bar{X}$，该值就会增大：

所以可知：
$$\sum _{i=1}^n(X_i-\bar{X}{)}^2<=\sum _{i=1}^n(X_i-\mu {)}^2\text{\hspace{1em}(17)}$$

可推出：
$$\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2<=\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2\text{\hspace{1em}(18)}$$

进而推出：
$$E[\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2]<=E[\frac{1}{n}\sum _{i=1}^n(X_i-\mu {)}^2]={\sigma }^2\text{\hspace{1em}(19)}$$

如果用下面这个式子来估计：
$$S^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\text{\hspace{1em}(20)}$$

那么$S^2$采样均值会服从一个偏离${\mu }^{\prime }$的正态分布：

可见，此分布倾向于低估${\sigma }^2$。
具体小了多少，我们可以来算下：
$$\begin{array}{rl}E[S^2]& =E[\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2]=E[\frac{1}{n}\sum _{i=1}^n((x_i-\mu )-(\bar{X}-\mu ){)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n((x_i-\mu {)}^2-2(\bar{X}-\mu )(x_i-\mu )+(\bar{X}-\mu {)}^2)]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}(\bar{X}-\mu )\sum _{i=1}^n(x_i-\mu )+\frac{1}{n}(\bar{X}-\mu {)}^2\sum _{i=1}^{n}1]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}(\bar{X}-\mu )\sum _{i=1}^n(x_i-\mu )+\frac{1}{n}(\bar{X}-\mu {)}^{2}n]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}(\bar{X}-\mu )\sum _{i=1}^n(x_i-\mu )+(\bar{X}-\mu {)}^2]\end{array}\text{\hspace{1em}(21)}$$

其中：
$$\bar{X}-\mu =\frac{1}{n}\sum _{i=1}^n{x}_i-\mu =\frac{1}{n}\sum _{i=1}^n{x}_i-\frac{1}{n}\sum _{i=1}^n\mu =\frac{1}{n}\sum _{i=1}^n(x_i-\mu )\text{\hspace{1em}(22)}$$

所以我们接着算下去：
$$\begin{array}{rl}E[S^2]& =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}(\bar{X}-\mu )\sum _{i=1}^n(x_i-\mu )+(\bar{X}-\mu {)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}(\bar{X}-\mu )n(\bar{X}-\mu )+(\bar{X}-\mu {)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2-(\bar{X}-\mu {)}^2]\\ & =E[\frac{1}{n}\sum _{i=1}^n(x_i-\mu {)}^2]-E[(\bar{X}-\mu {)}^2]\\ & ={\sigma }^2-E[(\bar{X}-\mu {)}^2]\end{array}\text{\hspace{1em}(23)}$$

因为：
$$E[\bar{X}]=E[\frac{{\sum }_{i=1}^n{X}_i}{n}]=\frac{1}{n}\sum _{i=1}^{n}E[X_i]=\frac{1}{n}\sum _{i=1}^n\mu =\mu \text{\hspace{1em}(24)}$$

其中：
$$\begin{array}{rl}E[(\bar{X}-\mu {)}^2]& =E[(\bar{X}-E[\bar{X}]{)}^2]=var(\bar{X})\\ & =var(\frac{{\sum }_{i=1}^n{X}_i}{n})\\ & =\frac{1}{n^2}\sum _{i=1}^{n}var(X_i)\\ & =\frac{n{\sigma }^2}{n^2}\\ & =\frac{{\sigma }^2}{n}\end{array}\text{\hspace{1em}(25)}$$

所以：
$$E[S^2]=E[\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2]={\sigma }^2-\frac{{\sigma }^2}{n}=\frac{n-1}{n}{\sigma }^2\text{\hspace{1em}(26)}$$

也就是说，低估了$\frac{1}{n}{\sigma }^2$，进行一下调整：
$$\frac{n}{n-1}E[\frac{1}{n}\sum _{i=1}^n(x_i-\bar{X}{)}^2]=E[\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2]={\sigma }^2\text{\hspace{1em}(27)}$$

因此使用下面这个式子进行估计，得到的就是无偏估计：
$$S^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{X}{)}^2\text{\hspace{1em}(28)}$$

到此结束！！！

参考文献：

1. https://www.matongxue.com/madocs/808
2. https://blog.csdn.net/weixin_37352167/article/details/90338977?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.pc_relevant_is_cache&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.pc_relevant_is_cache
3. https://www.zhihu.com/question/20099757