方差与无偏估计

今天的博客其实是对一个一直疑惑的数学知识点的讲解，毕竟机器学习还是运用到了大量的数学知识，所以把一些涉及到的数学概念搞清楚还是十分必要的。

方差其实这个概念相信大家都知道，就是$D(x)=\frac{1}{n}{\sum }_{i=1}^n(x_i-E(x_i){)}^2$，其实就是每个样本值和均值均方差的平均值。但是可能会有人看过，在一些机器学习用到的场景中(比方说PCA)公式其实是$D(x)=\frac{1}{n-1}{\sum }_{i=1}^n(x_i-E(x_i){)}^2$，虽然和之前的看上去非常像，但是会发现最后公式除的不是$n$而是$n-1$（原来我一直以为是书上印错成了$n-1$），这个微小的区别背后涉及到了很深刻的数学知识。

这里面包含了一个数学概念叫做“无偏估计”，“无偏估计”是一个什么概念呢？？
首先给一个严格数学上的定义即：对于随机变量$\theta$的估计是${\theta }^{\ast }$，如果$E(\theta )=E({\theta }^{\ast })$，那么就说参数${\theta }^{\ast }$是参数$\theta$的无偏估计。
好像看上去有点不知道在说什么，这个其实就是我们一般在计算数据方差、均值等统计指标的时候，往往由于数据量过大无法计算全部样本，只能采用抽样统计的方式进行估计，比方说我想知道学校中男生的平均身高，很显然是没法通过全量样本来得到最终的目标值，只能按照某种方式进行采样，如每个班随机挑选5个人，然后计算所挑出样本的平均身高，最后近似得到全校男生的平均身高。你会发现在这个过程中，我们能计算统计的对象永远只能是筛选出的样本，而所谓无偏估计就是说筛选出样本的统计指标和全量样本的统计指标是一致的。

让我们再次回到这次要说的方差的例子，$D(x)=\frac{1}{n}{\sum }_{i=1}^n(x_i-E(x_i){)}^2$计算的是样本的方差，而$D(x)=\frac{1}{n-1}{\sum }_{i=1}^n(x_i-E(x_i){)}^2$计算的是用样本来无偏估计得到的全量数据的真实方差，为什么前面乘的是$\frac{1}{n-1}$而不是$\frac{1}{n-2}$或$\frac{1}{n-3}$呢？
这其实涉及到严格的数学证明，证明如下所示：
假设样本集方差为$S^2$，全量数据真实方差为${\sigma }^2$，样本集的均值为$x^{\ast }$，全量数据真实均值为$\mu$
$S^2$=$\frac{1}{n}{\sum }_{i=1}^n(x_i-x^{\ast }{)}^2$
$=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu +\mu -x^{\ast }{)}^2$
$=\frac{1}{n}{\sum }_{i=1}^n[(x_i-\mu {)}^2+2(x_i-\mu )(\mu -x^{\ast })+(\mu -x^{\ast }{)}^2]$
$=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2+\frac{2}{n}{\sum }_{i=1}^n(x_i-\mu )(\mu -x^{\ast })+\frac{1}{n}{\sum }_{i=1}^n(\mu -x^{\ast }{)}^2$
$=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2+\frac{2}{n}(\mu -x^{\ast }){\sum }_{i=1}^n(x_i-\mu )+\frac{1}{n}{\sum }_{i=1}^n(\mu -x^{\ast }{)}^2$
$=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2+\frac{2}{n}(\mu -x^{\ast }){\sum }_{i=1}^n(x^{\ast }-\mu )+\frac{1}{n}{\sum }_{i=1}^n(\mu -x^{\ast }{)}^2$
$=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2-\frac{2}{n}(\mu -x^{\ast }){\sum }_{i=1}^n(\mu -x^{\ast })+\frac{1}{n}{\sum }_{i=1}^n(\mu -x^{\ast }{)}^2$
$=\frac{1}{n}{\sum }_{i=1}^n(x_i-\mu {)}^2-\frac{1}{n}(\mu -x^{\ast }){\sum }_{i=1}^n(\mu -x^{\ast })$
$={\sigma }^2-D(x^{\ast })$

其中$D(x^{\ast })=D(\frac{1}{n}{\sum }_{i=1}^n{x}_i)=\frac{1}{n^2}D({\sum }_{i=1}^n{x}_i)$
由于样本都是独立同分布的故有$D(x_i+x_j)=D(x_i)+D(x_j)$
则上述有$D(x^{\ast })=\frac{1}{n^2}D({\sum }_{i=1}^n{x}_i)=\frac{1}{n^2}{\sum }_{i=1}^{n}D(x_i)=\frac{1}{n^2}nD(x_i)=\frac{1}{n}{\sigma }^2$
将其带入上式则有
$S^2={\sigma }^2-D(x^{\ast })={\sigma }^2-\frac{1}{n}{\sigma }^2=\frac{n-1}{n}{\sigma }^2$
即有${\sigma }^2=\frac{n{S}^2}{n-1}$
可以发现真正全量数据无偏估计的方差其实和样本数据的方差还是有一定区别的，从公式我们也可以发现最后为什么前面的系数是$\frac{1}{n-1}$而不是其他的值，这其实是涉及到了深刻的数学知识，绝不是人拍脑袋的一个值。