一、正则条件
正则条件是指在陈述某一个定理时,常常需要限定这些定理的使用范围。如果超出这个范围,则会导致定理所描述的内容不成立。用于限定这个使用范围的限定条件被称为“正则条件”。
二、有偏、无偏估计
无偏估计: 估计量的数学期望等于被估参数的真实值,则称此估计量为被估参数的无偏估计。(例:样本均值的期望等于总体均值,所以样本均值为无偏估计)
有偏估计:估计量的数学期望不等于被估参数的真实值,则为有偏估计。(例:样本方差的期望是有偏估计)
举例:
某市所有的高三学生进行了一次数学联考,考试成绩服从1~150的正态分布,那么他们的平均分是多少?
如果将所有学生的成绩累和起来计算均值,这个值叫做总体期望,计算量较为庞大(现实中我们往往不这样计算,只通过采集样本估计)
所以现在给全市的50所高中每一所打一个电话,让他们随机选一名学生的成绩报上来,这样就得到了50个学生的成绩,这50个学生的成绩就是取到的第一个样本组,从而可以算出样本组1的平均数;
再重新给全市50所高中打一个电话,让他们随机选一名学生的成绩报上来,这样又得到了50个学生的成绩,这是取到的第二个样本组,可算出样本组2的平均数;
继续给全市50所高中打一个电话,让他们随机选一名学生的成绩报上来,这样又得到了第三组50个学生的成绩,这是取到第三组样本,同样算出样本组3的平均数;
继续打电话,到最后得到了十组样本的平均数。这时发现这十组样本的平均数符合正态分布,此时就可以用最大似然数估计求得这个正态分布的期望。而十组样本的平均数的期望(均值),就极其接近总体的期望,这称之为无偏估计(unbiased estimation)。而将单独每一组样本的平均数说是总体平均值的做法,就是有偏估计(biased estimation)。
三、克拉美罗下界(Cramer_Rao bound)
讨论克拉美罗下界是为了使用这个标准来衡量无偏估计量的性能,克拉美罗下界没有具体的估计方式,只是来反映用已有信息估计参数的最好效果。
总的来说,估计一个参数,根据已有信息得到了似然函数,这个似然函数“尖锐”程度(曲率)的倒数(即对数似然函数的二阶导的倒数)就是克拉美罗下界。克拉美罗下界的计算不依赖具体的估计方式,它作为一个用来衡量估计方式好坏的标准,即估计量的方差越靠近克拉美罗下界,效果越好(图像越尖锐、曲率值越大)。
关于克拉美罗下界的更为详细的介绍,参考以下链接:
统计信号处理,简单看看克拉美罗界
克拉美罗下界,CRLB的计算