贝叶斯定理

贝叶斯公式

百度百科
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展，用来描述两个条件概率之间的关系，比如 P(A|B) 和 P(B|A)。按照乘法法则，可以立刻导出：P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为：P(B|A) = P(A|B)*P(B) / P(A)。

贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。

其中P(A|B)是在B发生的情况下A发生的可能性。 为完备事件组，即 这里写图片描述
在贝叶斯法则中，每个名词都有约定俗成的名称：
Pr(A)是A的先验概率或边缘概率。之所以称为”先验”是因为它不考虑任何B方面的因素。
Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。
按这些术语，Bayes法则可表述为：
后验概率 = (似然度 * 先验概率)/标准化常量　也就是说，后验概率与先验概率和似然度的乘积成正比。
另外，比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为：
后验概率 = 标准似然度 * 先验概率。

用机器学习视角理解

---

在机器学习的视角下，我们把A理解成“具有某特征”，把B理解成“类别标签”

贝叶斯方法把计算“具有某特征的条件下属于某类”的概率转换成需要的计算“属于某类条件下具有某特征”的概率，属于有监督学习。

• 朴素贝叶斯：

加上条件独立假设的贝叶斯方法就是朴素贝叶斯方法。
由于乘法交换律，朴素贝叶斯方法中算出来交换词语顺序的条件概率完全一样。

• 朴素贝叶斯简单高效：

“有些独立假设在各个分类之间的分布都是均匀的，所以对于似然的相对大小不产生影响；即便不是如此，也有很大的可能性各个独立假设所产生的消极影响或积极影响互相抵消，最终导致结果受到影响不大。”