先验概率、似然函数、后验概率、贝叶斯公式

 先验概率、似然函数、后验概率、贝叶斯公式

联合概率的乘法公式：

（如果随机变量是独立的，则）
 

由乘法公式可得条件概率公式：，

全概率公式：，其中

（，则可轻易推导出上式）
 

贝叶斯公式：

又名后验概率公式、逆概率公式：后验概率＝似然函数×先验概率/证据因子。解释如下，假设我们根据“手臂是否很长”这个随机变量（取值为“手臂很长”或“手臂不长”）的观测样本数据来分析远处一个生物是猩猩类别还是人类类别（假设总共只有这2种类别）。我们身处一个人迹罕至的深山老林里，且之前就有很多报道说这里有猩猩出没，所以无需观测样本数据就知道是猩猩的先验概率（Prior Probability）较大，比如根据历史数据估计有70%＝0.7。接着，我们得到了的观测样本数据：“手臂很长”──而猩猩类别表现为这种特征的类条件概率，或者说这种“可能性”即似然（Likelihood）较大，相比于人类表现为“手臂很长”的似然。所以经这次观测之后加强了我们的判断：是一只猩猩的后验概率（Posterior Probability）变得比先验概率更大，超过了之前的70%！反之，如果观测发现这个生物的手臂不长，而猩猩类别表现为“手臂不长”的似然较小，则会减弱我们的判断，是猩猩的后验概率将小于70%。因此，后验概率包含了先验信息以及观测样本数据提供的后验信息，对先验概率进行了修正，更接近真实情况。此外，证据因子（Evidence，也被称为归一化常数）可仅看成一个权值因子，以保证各类别的后验概率总和为1从而满足概率条件。

 

如果我们的目标仅仅是要对所属类别作出一个判别：是“猩猩”还是“人类”，则无需去计算后验概率的具体数值，只需计算哪个类别的后验概率更大即可。假设猩猩和人类出现的先验概率相等， ，则此时类别的判定完全取决于似然 和 的大小。因此， 似然函数（ Likelihood：“可能性”）的重要性不是它的具体取值，而是当参数（如类别参数） 变化时，函数到底变小还是变大，以便反过来对参数进行估计求解（估计出是 还是