【机器学习实战】 Bayes

贝叶斯公式：

$$P(H|D) = \frac{P(D|H)P(H)}{P(D)}$$
先验概率：P(H)，在得到新数据前某一假设的概率
后验概率：P(H|D)，在看到新数据后，该假设的概率
似然度：P(D|H)，在该假设下得到这一数据的概率
标准化常量：P(D)，在任何假设下得到这一数据的概率

在贝叶斯问题中，最关键的是在给定条件中，哪个是先验、哪个是后入的条件。以垃圾邮件分类为例：

---

注意，以下推断有误。

---

一封邮件是垃圾邮件的概率为 A ，其中包含的文字信息概率为 B。根据推断可以得到，是先有了构成邮件的文字，才可以引出这封邮件是不是垃圾邮件的问题。因此，B 是先验概率，A 是标准化常量。

---

更正：
的确是这么个逻辑， 文字➡️邮件➡️邮件性质， 但是我们无法通过文字来判断这是不是垃圾邮件，因为判别依据单凭文字的无法产生的，因为原本一些毫无“负面“的文字信息组合起来可能就变成了“垃圾信息“。

因此，正确的逻辑是这样，邮件性质➡️统计不同文件的文字信息➡️根据这些文字信息判断新的邮件性质。

所以，垃圾邮件概率 A 是先验概率，而文字信息 B 是标准化常量、即支撑作判断的信息。

为了与上面的贝叶斯公式中的字符对上，也便于程序实现：

• 事件 H 视为 垃圾邮件
• 事件 D 视为 邮件中的文字信息
• P(H|D) 是由 D 构成的文档是垃圾邮件概率
  
  • P(H|d0) 是由 非垃圾信息 构成的邮件概率
  • P(H|d1) 是由 垃圾信息 构成的邮件概率

在已打标签的邮件中，统计词频 ➡️ 建立“垃圾词“ 和 “非垃圾词“ 的词向量空间 ➡️ 录入新邮件文档 ➡️ 比较在两个向量空间中的概率 ➡️ 取概率最大类别

---