(1)最大似然估计ML和最大后验估计MAP
最大似然估计量
非贝叶斯方法通常是最大化似然函数:
其中
被称为
的最大似然估计量,它是
的函数。
最大后验估计量
估计随机参数的通常方法是最大化后验分布函数:
其中
被称为
的最大后验估计量,它是
的函数。
(2)高斯噪声下ML和MAP的比较
考虑如下测量模型(一维):
假设
是未知的某常量,
的似然函数为:
所以:
最大后验估计
然后假设参数
是随机变量,其分布函数
是均值为
方差为
的高斯分布,并和
独立,即:
在观测
的条件下,
的后验分布为:
其中
。
计算得到
满足高斯分布的形式:
其中:
所以:
(3)Diffuse Prior下的MAP估计器
我们已经知道,
基于非贝叶斯方法,
基于贝叶斯方法。这里我将介绍在某些特定的先验分布下:
假设
的先验分布为:
其中
,且大于零;我们称这个分布为
Diffuse pdf。
所以
的后验分布为:
这里可以看出,后验分布与似然函数只差一个正的比例因子,所以ML与MAP的结果一致。
这里的Diffuse pdf也被称为improper pdf,它的另外一个名字叫做noninformative pdf。
一个例子:
回到上面第(二)节,已知
的先验分布为
的高斯分布,现令
。我们知道当协方差越来越大时,高斯分布会看起来越像一个均匀分布。
此时,当
时,
的先验分布就是一个
noninformative pdf,最大后验估计与最大似然估计的结果一样。
因此非贝叶斯方法可以看成贝叶斯方法的一种退化情况。
(4)充分统计量与似然方程
如果一个参数的似然函数可以分解为如下形式:
那么很显然,
的最大似然估计仅仅依赖于函数
,而不是
;这里将
称为充分统计量。
一个例子:
考虑以下测量方程:
其中
相互独立。
在
的条件下,观测
满足的分布
为:
其中
相互独立。
所以似然函数可以写为:
对其分解:
其中:
上述
就是充分统计量(
sufficient statistic)。
对log-likelihood函数求导得:
结论:
相似地可以证明,当
时,也就是观测次数非常多时,
最大后验估计值趋近于最大似然估计值:
(5)总结
参考资料
- Bar-Shalom Y, Li X R, Kirubarajan T. Estimation with applications to tracking and navigation: theory algorithms and software[M]. John Wiley & Sons, 2004.