最大后验估计_参数估计

目前较为常见的参数估计方法有极大似然估计、最大后验概率估计、贝叶斯估计。以下以抛硬币为例比较三种参数估计方法。

63aaecdc06e626204b35b9365a39ab08.png

极大似然估计:根据样本的概率分布,写出样本的联合概率似然函数,通过最大化似然函数,得到参数估计值。只基于样本信息。

步骤:(1)确定似然函数

(2)将似然函数转换为对数似然函数

(3)求对数似然函数的最大值(求导,解似然方程)

cc0d1b47dce5f45368eaa339eeb4d101.png

最大后验概率估计与贝叶斯估计都需要用到先验概率,两者的区别在于:最大后验概率分布认为

是一个随机变量,即
具有某种概率分布,称为先验分布,求解时除了要考虑似然函数
外,还要考虑
的先验分布
。因此最大化的函数是

步骤:(1)确定参数的先验分布以及似然函数

(2)确定参数的后验分布函数

(3)将后验分布函数转换为对数函数

(4)求对数函数的最大值(求导,解方程)

贝叶斯估计:利用样本信息+先验信息,贝叶斯估计是最大后验估计的进一步扩展,贝叶斯估计同样假定

是一个随机变量,但贝叶斯估计并不是直接估计出
的某个特定值,而是估计
的分布,这是贝叶斯估计与最大后验概率估计不同的地方。

步骤:(1)确定参数的似然函数

(2)确定参数的先验分布,应是后验分布的共轭先验

(3)确定参数的后验分布函数

(4)根据贝叶斯公式求解参数的后验分布

先验分布一般选用Beta分布,因Beta分布的拥有共轭先验的特性,即再伯努利分布下,先验分布和后验分布相同,均为Beta分布。其具体形式如下:

47c18f620b1ee32135ee03839e729c8e.png

贝叶斯估计具体推导:

42b91be1f4005f7171245171e49a2868.png

贝叶斯估计与极大似然估计比较:

0cb35999b52d0c527d2cebabec44a66e.png

当样本足够大时,贝叶斯估计趋近于极大似然估计。

当样本较小时,贝叶斯估计的结果会更加的缓和,不会像极大似然估计那么极端。

小结:最大似然估计、最大后验概率估计中都是假设

未知,但是是确定的值,都将使函数取得最大值的
作为估计值,区别在于最大化的函数不同,最大后验概率估计使用了
先验概率。而在贝叶斯估计中,假设参数
未知的随机变量,不是确定值,求解的是参数
在样本X上的后验分布。
表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
相关推荐
©️2020 CSDN 皮肤主题: 1024 设计师:白松林 返回首页