一文详解先验概率、后验概率、最大似然估计(MLE)、最大后验估计(MAP)

概率与统计

概率和统计是两个看似相近的概念，但是其实研究的问题刚好相反。

概率研究的问题是,已知一个模型和参数,怎么去预测这个模型产生的结果。也就是根据参数和模型去推数据。

统计则刚好相反,统计是我有一堆数据,我怎么利用这堆数据去推测模型和参数。

概率是已知参数和模型,去推测结果；而统计是已知很多数据,去推模型和参数

先验概率、后验概率、似然函数

先验概率

简单理解:在事件发生之前,根据以往的经验推测的与该事件相关的概率就是先验概率,而在事件(试验)真的发生之后,通过事件或试验的结果可以修正先验概率,从而得到后验概率

后验概率

后验概率:在事件已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小。(有果求因)

举几个例子

抛硬币

抛硬币时抛出正面的概率有多大？假如事前关于这枚硬币我们没有任何信息,主观上我们会认为是1/2.那么这里的1/2就是一个先验概率。但在经过一系列的实验结果我们发现正面朝上的概率可能不是1/2了(因为还会受到硬币的质量、重量分布等影响),通过一系列数据得到的修正了先验概率,就是后验概率

山洞

假如你在一个山洞里,这个山洞里可能