朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

贝叶斯公式：

$$P(A|B) = \frac{P(B|A) P(A)}{P(B)}$$

条件独立性假设：

$$P\left(X=x \ \middle | \ Y=c_k \right)=P\left(X^{(1)} = x^{(1)}, \cdots , X^{(n)}=x^{(n)} \middle | Y = c_k \right)\\ =\prod_{j=1}^n P \left(X^{(j)} = x^{(j)} \middle | Y = c_k \right)$$

朴素贝叶斯使用特征条件独立假设的原因：个人理解是为了解决高维度带来的数据稀疏性。

朴素贝叶斯有效的解释：有些独立假设在各个分类之间的分布都是均匀的所以对于似然的相对大小不产生影响；即便不是如此，也有很大的可能性各个独立假设所产生的消极影响或积极影响互相抵消，最终导致结果受到的影响不大。具体的数学公式请参考：The Optimality of Naive Bayes

实例：垃圾邮件分类(代码以后再加)

参考：
[1] 数学之美番外篇：平凡而又神奇的贝叶斯方法