文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计

原创 2012年12月15日 11:15:36

以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型,然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数,我们可以有很多重要的应用,比如文本特征降维、文本主题分析等等。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。


1、最大似然估计MLE

首先回顾一下贝叶斯公式




这个公式也称为逆概率公式,可以将后验概率转化为基于似然函数和先验概率的计算表达式,即




最大似然估计就是要用似然函数取到最大值时的参数值作为估计值,似然函数可以写做



由于有连乘运算,通常对似然函数取对数计算简便,即对数似然函数。最大似然估计问题可以写成




这是一个关于的函数,求解这个优化问题通常对求导,得到导数为0的极值点。该函数取得最大值是对应的的取值就是我们估计的模型参数。

以扔硬币的伯努利实验为例子,N次实验的结果服从二项分布,参数为P,即每次实验事件发生的概率,不妨设为是得到正面的概率。为了估计P,采用最大似然估计,似然函数可以写作



其中表示实验结果为i的次数。下面求似然函数的极值点,有




得到参数p的最大似然估计值为




可以看出二项分布中每次事件发的概率p就等于做N次独立重复随机试验中事件发生的概率。

如果我们做20次实验,出现正面12次,反面8次

那么根据最大似然估计得到参数值p为12/20 = 0.6。


2、最大后验估计MAP

最大后验估计与最大似然估计相似,不同点在于估计的函数中允许加入一个先验,也就是说此时不是要求似然函数最大,而是要求由贝叶斯公式计算出的整个后验概率最大,即




注意这里P(X)与参数无关,因此等价于要使分子最大。与最大似然估计相比,现在需要多加上一个先验分布概率的对数。在实际应用中,这个先验可以用来描述人们已经知道或者接受的普遍规律。例如在扔硬币的试验中,每次抛出正面发生的概率应该服从一个概率分布,这个概率在0.5处取得最大值,这个分布就是先验分布。先验分布的参数我们称为超参数(hyperparameter)即




同样的道理,当上述后验概率取得最大值时,我们就得到根据MAP估计出的参数值。给定观测到的样本数据,一个新的值发生的概率是



下面我们仍然以扔硬币的例子来说明,我们期望先验概率分布在0.5处取得最大值,我们可以选用Beta分布即




其中Beta函数展开是




当x为正整数时


\Gamma(n) = (n-1)!\,


Beta分布的随机变量范围是[0,1],所以可以生成normalised probability values。下图给出了不同参数情况下的Beta分布的概率密度函数


我们取,这样先验分布在0.5处取得最大值,现在我们来求解MAP估计函数的极值点,同样对p求导数我们有




得到参数p的的最大后验估计值为




和最大似然估计的结果对比可以发现结果中多了这样的pseudo-counts,这就是先验在起作用。并且超参数越大,为了改变先验分布传递的belief所需要的观察值就越多,此时对应的Beta函数越聚集,紧缩在其最大值两侧。

如果我们做20次实验,出现正面12次,反面8次,那么

那么根据MAP估计出来的参数p为16/28 = 0.571,小于最大似然估计得到的值0.6,这也显示了“硬币一般是两面均匀的”这一先验对参数估计的影响。


3 贝叶斯估计

贝叶斯估计是在MAP上做进一步拓展,此时不直接估计参数的值,而是允许参数服从一定概率分布。回顾一下贝叶斯公式




现在不是要求后验概率最大,这样就需要求,即观察到的evidence的概率,由全概率公式展开可得




当新的数据被观察到时,后验概率可以自动随之调整。但是通常这个全概率的求法是贝叶斯估计比较有技巧性的地方。

那么如何用贝叶斯估计来做预测呢?如果我们想求一个新值的概率,可以由




来计算。注意此时第二项因子在上的积分不再等于1,这就是和MLE及MAP很大的不同点。

我们仍然以扔硬币的伯努利实验为例来说明。和MAP中一样,我们假设先验分布为Beta分布,但是构造贝叶斯估计时,不是要求用后验最大时的参数来近似作为参数值,而是求满足Beta分布的参数p的期望,有




注意这里用到了公式




当T为二维的情形可以对Beta分布来应用;T为多维的情形可以对狄利克雷分布应用

根据结果可以知道,根据贝叶斯估计,参数p服从一个新的Beta分布。回忆一下,我们为p选取的先验分布是Beta分布,然后以p为参数的二项分布用贝叶斯估计得到的后验概率仍然服从Beta分布,由此我们说二项分布和Beta分布是共轭分布。在概率语言模型中,通常选取共轭分布作为先验,可以带来计算上的方便性。最典型的就是LDA中每个文档中词的Topic分布服从Multinomial分布,其先验选取共轭分布即Dirichlet分布;每个Topic下词的分布服从Multinomial分布,其先验也同样选取共轭分布即Dirichlet分布。

根据Beta分布的期望和方差计算公式,我们有




可以看出此时估计的p的期望和MLE ,MAP中得到的估计值都不同,此时如果仍然是做20次实验,12次正面,8次反面,那么我们根据贝叶斯估计得到的p满足参数为12+5和8+5的Beta分布,其均值和方差分别是17/30=0.567, 17*13/(31*30^2)=0.0079。可以看到此时求出的p的期望比MLE和MAP得到的估计值都小,更加接近0.5。

综上所述我们可以可视化MLE,MAP和贝叶斯估计对参数的估计结果如下

个人理解是,从MLE到MAP再到贝叶斯估计,对参数的表示越来越精确,得到的参数估计结果也越来越接近0.5这个先验概率,越来越能够反映基于样本的真实参数情况。


参考文献

Gregor Heinrich, Parameter estimation for test analysis, technical report 

Wikipedia Beta分布词条 ,  http://en.wikipedia.org/wiki/Beta_distribution


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yangliuy/article/details/8296481

菜鸟学概率统计——最大后验概率(MAP)

最大似然估计:把待估计的参数看作是确定性的量(只是其取值未知),其最佳估计就是使得产生已观察到的样本(即训练样本)的概率为最大的那个值。(即求条件概率密度p(D|$)为最大时的$,其中D为样本集,$为...
  • klqulei123
  • klqulei123
  • 2016-10-10 20:54:21
  • 6521

详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解

声明:本文为原创文章,发表于nebulaf91的csdn博客。欢迎转载,但请务必保留本信息,注明文章出处。 本文作者: nebulaf91 本文原始地址:最大似然估计(Maximum likeli...
  • u011508640
  • u011508640
  • 2017-05-31 00:50:07
  • 12580

最大后验估计MAP/最大似然估计MLE

早晨上机,花了点时间学习了下最大后验估计MAP/最大似然估计MLE,主要参考维基百科,真的是个好东东~~ 看来要做科研,随机过程和概率论真真的很重要啊~ 一 部分概念: ...
  • whatwho_518
  • whatwho_518
  • 2015-04-03 15:30:14
  • 3685

极大似然估计,最大后验概率估计(MAP),贝叶斯估计

三种参数估计方法都和贝叶斯公式有关,因此首先从分析贝叶斯公式入手: 贝叶斯公式可以表达为:   posterior:通过样本X得到参数的概率 likehood:通过参数得到样本X的概率 prior...
  • vividonly
  • vividonly
  • 2016-02-23 14:20:46
  • 10892

最大后验估计(MAP)与最大似然估计(MLE)

原文地址:http://blog.csdn.net/whatwho_518/article/details/44855929 早晨上机,花了点时间学习了下最大后验估计MAP/最大似然...
  • zr459927180
  • zr459927180
  • 2016-04-11 10:52:11
  • 879

三种参数估计方法(MLE,MAP,贝叶斯估计)

三种参数估计方法(MLE,MAP,贝叶斯估计)
  • Leo_Xu06
  • Leo_Xu06
  • 2016-04-22 18:02:02
  • 1810

最大似然估计(MLE)和最大后验概率估计(MAP)

最大似然估计: 最大似然估计提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。简单而言,假设我们要统计全国人口的身高,首先假设这个身高服从服从正态分布,但是该分布的均值与方差未...
  • sinat_21595363
  • sinat_21595363
  • 2016-04-18 15:56:07
  • 252

机器学习->统计学基础->贝叶斯估计,最大似然估计(MLE),最大后验估计(MAP)

在学习机器学习,推荐系统等上的众多算法思想时,以及在数学公式推到上面,避免不了许多统计学方面的知识,其中以贝叶斯,最大似然估计,最大后验估计为最常遇见,必须深刻掌握了解。首先讲讲贝叶斯估计(对比传统频...
  • Mr_tyting
  • Mr_tyting
  • 2017-03-17 10:15:11
  • 3499

mAP计算

SSD计算mAP值 https://github.com/weiliu89/caffe 3种计算方法: 参考文献: https://sanchom.wordpress.com/tag/ave...
  • jay463261929
  • jay463261929
  • 2017-12-06 19:48:22
  • 819

极大似然估计教程(maximum likelihood estimination)

极大似然估计法是求点估计的一种方法,最早由高斯提出,后来费歇尔(Fisher)在1912年重新提出。它属于数理统计的范畴。 大学期间我们都学过概率论和数理统计这门课程。 概率论和数...
  • chenjianbo88
  • chenjianbo88
  • 2016-09-01 12:24:53
  • 1679
收藏助手
不良信息举报
您举报文章:文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计
举报原因:
原因补充:

(最多只允许输入30个字)