先验概率、后验概率与似然估计的理解
在机器学习中,时常碰到先验概率、后验概率与似然估计,特别是碰到贝叶斯公式的时候。然而,教材上关于这些术语的解释总量令人头大,幸好在知乎上有一个仁兄对这些术语作了一个非常通俗易懂的解释,详情请参见链接:
先验分布、后验分布、似然估计这几个概念是什么意思,它们之间的关系是什么? - Agenter的回答 - 知乎
https://www.zhihu.com/question/24261751/answer/158547500
下面是我个人对这三个术语的理解:这三个术语主要是对因与果之间概率分布的描述,设:
:表示事件的因
:表示事件的果
先验概率
即为先验概率,表示在事件发生前,或者是事件的结果出现前,根据以前的经验或常识而得出的事件原因发生的概率;
后验概率
即为后验概率,表示在知晓事件的结果之后,对事件的原因的概率分布的推断;
似然估计
即为似然估计,表示在知道事件的原因发生的概率的前提下, 推断事件的结果的概率分布.
贝叶斯公式
表示知道事件的似然估计, 先验概率与事件的结果分布时, 用上述三个变量来估计事件后验概率 . 类似于知道结果, 然后去推断导致事件这个结果的原因.