朴素贝叶斯(Naive Bayes)算法是一种基于贝叶斯定理和特征条件独立假设的分类方法。尽管简单,朴素贝叶斯分类器在实际应用中表现出了出色的效果,尤其是在文本分类、垃圾邮件过滤、情感分析等领域。
贝叶斯定理
朴素贝叶斯的核心是贝叶斯定理,它提供了从先验概率计算后验概率的方法。贝叶斯定理的数学表达式为:
P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} P(A∣B)=P(B)P(B∣A)⋅P(A)
其中,
- P ( A ∣ B ) P(A|B) P(A∣B) 是在给定 B 发生的条件下 A 发生的后验概率。
- P ( B ∣ A ) P(B|A) P(B∣A) 是在给定 A 发生的条件下 B 发生的可能性,即似然。
- P ( A ) P(A) P(A) 是 A 发生的先验概率。
- P ( B ) P(B) P(B) 是 B 发生的边缘概率,它确保概率的总和为1。
朴素贝叶斯分类器
在朴素贝叶斯分类器中,我们假设特征之间是相互独立的。对于一个给定的数据样本,其特征向量为 x = ( x 1 , x 2 , .