我们都知道,给定N个一维实数空间上的样本点{ xi,i=1,2,3... },假定样本点服从单峰高斯分布,那么,最大似然估计的参数表达式为:
期望: 方差:
可是,你是否注意过,在我们从小接受到的方差定义公式,却与最大似然估计的不一样,一个分母为n-1,一个为n。这是不是意味着最大似然估计的不准确?如何衡量这种不准确?换个角度,更进一步,方差的定义公式为什么要除以n-1?本文将从最后一个问题出发,一步一步解答这些问题。
本文主要以张贤达《现代信号处理》第二版第二章第一节为参考资料,辅以一些网页资料,并在文章中标注出引用处。
1、n-1能更准确的反应现实世界
如果样本集中只有一个样本,试问:这个时候高斯分布的方差应该是多少?是0还是无穷大?如果是无穷大,那么来第二个样本点的话,我们将是无法预知落在什么地方(方差无穷大,可以看做是整个实数轴上的均匀分布);如果是0,那么来第二个样本点的话,我们将肯定它的值仍然等于x1(方差为零,可以看做是确定事件)。显然,方差为无穷大更符合现实世界,更符合我们的直观感受。也就是是说,分母为n-1更能反应现实世界。
这里还有另外一种直观的理解,但是难以自圆其说,来自http://blog.csdn.net/feliciafay/article/details/5878036。这里直接摘抄在这里,也很好理解,作者同时也给出了为什么这