样本方差计算公式里分母为
的目的是为了让方差的估计是
无偏
的。无偏的估计(unbiased estimator)比有偏估计(biased estimator)更好是符合直觉的,尽管有的统计学家认为让mean square error即MSE最小才更有意义,这个问题我们不在这里探讨;
不符合直觉的是,为什么分母必须得是
而不是
才能使得该估计无偏。
我相信这是题主真正困惑的地方。
要回答这个问题,偷懒的办法是让困惑的题主去看下面这个等式的数学证明:
.
但是这个答案显然不够直观(教材里面统计学家像变魔法似的不知怎么就得到了上面这个等式)。
下面我将提供一个略微更友善一点的解释。
==================================================================
===================== 答案的分割线 ===================================
==================================================================
首先,我们假定随机变量
的数学期望
是已知的,然而方差
未知。在这个条件下,根据方差的定义我们有
由此可得
.
因此
是方差
的一个无偏估计,注意式中的分母不偏不倚正好是
!
这个结果符合直觉,并且在数学上也是显而易见的。
现在,我们考虑随机变量
的数学期望
是未知的情形。这时,我们会倾向于无脑直接用样本均值
替换掉上面式子中的
。这样做有什么后果呢?后果就是,
如果直接使用
作为估计,那么你会倾向于低估方差!
这是因为:
换言之,除非正好
,否则我们一定有
,
而不等式右边的那位才是的对方差的“正确”估计!
这个不等式说明了,为什么直接使用
会导致对方差的低估。
那么,在不知道随机变量真实数学期望的前提下,如何“正确”的估计方差呢?答案是把上式中的分母
换成
,通过这种方法把原来的偏小的估计“放大”一点点,我们就能获得对方差的正确估计了:
![n-1](https://i-blog.csdnimg.cn/blog_migrate/98d015886b619d5780dff88814ce434b.png)
![n-1](https://i-blog.csdnimg.cn/blog_migrate/98d015886b619d5780dff88814ce434b.png)
![n](https://i-blog.csdnimg.cn/blog_migrate/9eaa8520e30b77e5482f27e0dbcdc4b6.png)
要回答这个问题,偷懒的办法是让困惑的题主去看下面这个等式的数学证明:
但是这个答案显然不够直观(教材里面统计学家像变魔法似的不知怎么就得到了上面这个等式)。
下面我将提供一个略微更友善一点的解释。
==================================================================
===================== 答案的分割线 ===================================
==================================================================
首先,我们假定随机变量
![X](https://i-blog.csdnimg.cn/blog_migrate/36fec76b908c1d4d52b5d6cd407cfe11.png)
![\mu](https://i-blog.csdnimg.cn/blog_migrate/96a8fa26f2eeb82740a9bc6fbbe54e70.png)
![\sigma^2](https://i-blog.csdnimg.cn/blog_migrate/73b1d1ab09fafd7178bce548eadd7f34.png)
由此可得
因此
![\sigma^2](https://i-blog.csdnimg.cn/blog_migrate/73b1d1ab09fafd7178bce548eadd7f34.png)
![n](https://i-blog.csdnimg.cn/blog_migrate/9eaa8520e30b77e5482f27e0dbcdc4b6.png)
这个结果符合直觉,并且在数学上也是显而易见的。
现在,我们考虑随机变量
![X](https://i-blog.csdnimg.cn/blog_migrate/36fec76b908c1d4d52b5d6cd407cfe11.png)
![\mu](https://i-blog.csdnimg.cn/blog_migrate/96a8fa26f2eeb82740a9bc6fbbe54e70.png)
![\bar{X}](https://i-blog.csdnimg.cn/blog_migrate/ac41105049c872d4198d9934cfef6892.png)
![\mu](https://i-blog.csdnimg.cn/blog_migrate/96a8fa26f2eeb82740a9bc6fbbe54e70.png)
如果直接使用
这是因为:
换言之,除非正好
![\bar{X}=\mu](https://i-blog.csdnimg.cn/blog_migrate/ac41105049c872d4198d9934cfef6892.png%3D%5Cmu)
而不等式右边的那位才是的对方差的“正确”估计!
这个不等式说明了,为什么直接使用
那么,在不知道随机变量真实数学期望的前提下,如何“正确”的估计方差呢?答案是把上式中的分母
![n](https://i-blog.csdnimg.cn/blog_migrate/9eaa8520e30b77e5482f27e0dbcdc4b6.png)
![n-1](https://i-blog.csdnimg.cn/blog_migrate/98d015886b619d5780dff88814ce434b.png)
至于为什么分母是而不是
或者别的什么数,最好还是去看真正的数学证明,因为数学证明的根本目的就是告诉人们“为什么”;暂时我没有办法给出更“初等”的解释了。
下面是另一个人的证明推导:
本來,按照定義,方差的 estimator 應該是這個:
但,這個 estimator 有 bias,因為:
而 (n-1)/n * σ² != σ² ,所以,為了避免使用有 bias 的 estimator,我們通常使用它的修正值 S²: