有偏估计、无偏估计、正则条件、克拉美罗下界

一、正则条件
  正则条件是指在陈述某一个定理时，常常需要限定这些定理的使用范围。如果超出这个范围，则会导致定理所描述的内容不成立。用于限定这个使用范围的限定条件被称为“正则条件”。

二、有偏、无偏估计
  无偏估计： 估计量的数学期望等于被估参数的真实值，则称此估计量为被估参数的无偏估计。(例：样本均值的期望等于总体均值，所以样本均值为无偏估计）
  有偏估计：估计量的数学期望不等于被估参数的真实值，则为有偏估计。(例：样本方差的期望是有偏估计）

举例：
  某市所有的高三学生进行了一次数学联考，考试成绩服从1~150的正态分布，那么他们的平均分是多少？
  如果将所有学生的成绩累和起来计算均值，这个值叫做总体期望，计算量较为庞大（现实中我们往往不这样计算，只通过采集样本估计）
  所以现在给全市的50所高中每一所打一个电话，让他们随机选一名学生的成绩报上来，这样就得到了50个学生的成绩，这50个学生的成绩就是取到的第一个样本组，从而可以算出样本组1的平均数；
  再重新给全市50所高中打一个电话，让他们随机选一名学生的成绩报上来，这样又得到了50个学生的成绩，这是取到的第二个样本组，可算出样本组2的平均数；
  继续给全市50所高中打一个电话，让他们随机选一名学生的成绩报上来，这样又得到了第三组50个学生的成绩，这是取到第三组样本，同样算出样本组3的平均数；
  继续打电话，到最后得到了十组样本的平均数。这时发现这十组样本的平均数符合正态分布，此时就可以用最大似然数估计求得这个正态分布的期望。而十组样本的平均数的期望(均值)，就极其接近总体的期望，这称之为无偏估计（unbiased estimation）。而将单独每一组样本的平均数说是总体平均值的做法，就是有偏估计（biased estimation）。

三、克拉美罗下界（Cramer_Rao bound）
  讨论克拉美罗下界是为了使用这个标准来衡量无偏估计量的性能，克拉美罗下界没有具体的估计方式，只是来反映用已有信息估计参数的最好效果。
  总的来说，估计一个参数，根据已有信息得到了似然函数，这个似然函数“尖锐”程度（曲率）的倒数（即对数似然函数的二阶导的倒数）就是克拉美罗下界。克拉美罗下界的计算不依赖具体的估计方式，它作为一个用来衡量估计方式好坏的标准，即估计量的方差越靠近克拉美罗下界，效果越好（图像越尖锐、曲率值越大）。
  关于克拉美罗下界的更为详细的介绍，参考以下链接：
  统计信号处理，简单看看克拉美罗界
  克拉美罗下界，CRLB的计算