为什么对高斯分布的方差的极大似然估计是有偏的？

http://blog.csdn.net/qykshr/article/details/23273105

本文要证明为什么对高斯分布的方差的极大似然估计是有偏的。同时，也说明为什么求样本方差时，分母是N-1而不是N。

 

首先，明白两点，（1）极大似然法得到的高斯方差是什么形式（2）什么是有偏。

 

（1）先说第一个问题，用极大似然估计得到的高斯方差是什么。

假设有n个符合高斯独立同分布的观测值

，我们要根据这些样本值估计正态分布的期望和方差。

以上信息可以表示为：

（1）

极大似然估计就要找需要合适的和使得（1）式具有最大值。

对上式两边同时取对数，得

（2）

取对数操作的好处：1、log函数在定义域上是单调函数，便于求极值 2、便于计算机计算，因为过小的值做乘法运算可能会导致溢出，取对数操作之后，将乘法转换为加法，避免了这个问题。

对（2）式右边对求偏导，并令导数值为零，解得

（3）

对（2）式右边对求偏导，并令导数值为零，解得

（4）。

现在得到期望和方差的表达形式了，接下来判断他们是否有偏。

（2）有偏与无偏

如果一个变量的期望等于他的理想值，那么就称该变量无偏；否则称为有偏。

在下面的证明中，会用到多变量和、积的期望以及多变量和、积的方差公式：

当多个变量相互独立时，有

 

另外，

，因为，是的一个实例，服从什么分布，当然也服从。

 

 

预备知识讲完了，下面开始证明：

对于期望估计有，

（5）

对于方差估计则比较麻烦一些，

首先，对平方进行展开，再进行一些合并

（6）

接着，分别求其中的后两项

（7）

（8）

最后，将（7）、（8）式带入（6）式，得

（9）

 

终于大功告成，所以均值估计是无偏的，方差估计是有偏的。那么无偏的方差估计应该是什么形式？

答案是，

（10）

这也就是为什么求样本方差的时候分母是N-1而不是N。

这种形式的方差估计的无偏性读者可以仿照上面进行证明。