李航统计学习 朴素贝叶斯 学习笔记

应用朴素贝叶斯的前提是，条件（特征）之间独立。
条件独立的假设是：

$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}|Y=c_k)$$
$$=\prod_{j=1}^{n} P(X^{(j)}=x^{(j)} | Y=c_k)$$

朴素贝叶斯应用于学习生成数据的机制，属于生成模型。
朴素贝叶斯分类时，对给定输入x，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$，将后验概率最大的类作为x的类输出。后验概率计算，根据贝叶斯定理进行：

$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k) P(Y=c_k)} {\sum_k P(X=x|Y=c_k) P(Y=c_k)}$$

朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测：

$$P(Y|X)=\frac{P(X,Y)}{P(X)} = \frac{P(Y)P(X|Y)}{\sum_YP(Y)P(X|Y)}$$