贝叶斯定理是有英国数学家贝叶斯提出的,用于描述两个事件之间发生概率的关系,比如:P(A|B)和P(B|A),P(A|B)表示在事件B发生的情况下,事件A发生的概率。通常,事件A在事件B的条件下的概率,和事件B在事件A的条件下的概率是不一样的,但是这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。
其公式为:
可以描述为:在事件B发生的情况下,事假A发生的概率等于在事件A发生的情况下事件B发生的概率乘以事件A发生的概率除以事件B发生的概率。
其中P(A|B)为在事件B发生的情况下事件A发生的可能性。
在贝叶斯定理中,每个名词都有约定俗成的名称:
- P(A)是A的先验概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
- P(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。
- P(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。
- P(B)是B的先验概,也作标准化常量(normalizing constant).
按这些术语,Bayes定理可表述为: 后验概率 = (相似度*先验概率)/标准化常量
也就是说,后验概率与先验概率和相似度的乘积成正比。
另外,比例P(B|A)/P(B)也有时被称作标准相似度(standardised likelihood),Bayes定理可表述为:
后验概率 = 标准相似度*先验概率