机器学习笔记之朴素贝叶斯

朴素贝叶斯

1 朴素贝叶斯为什么叫朴素贝叶斯？

1. 因为这种方法是基于贝叶斯定理,顺便复习一下贝叶斯定理的表达式：
   

   $$P(B_i|A) = \frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{N} P(A|B_j)P(B_j)}$$

2. 朴素贝叶斯法对条件概率分布作了条件独立性的假设，这是一个很强的假设，所以对应 “朴素” 二字。条件独立性假设 就是说用于分类的特征在类确定的条件下都是条件独立的。这个假设使得朴素贝叶斯变简单了，但也牺牲了一定的准确率， 条件独立性假设表达式：

$$\begin{align} P(X=x|Y=c_k) &= P(X^{(1)} = x^{(1)},\cdots,X^{(n)} = x^{n} | Y = c_k) \\ &= \prod_{j=1}^{n}P(X^{(j)} = x^{(j)}|Y=c_k) \end{align}$$

2 朴素贝叶斯的学习与分类

2.1 学习方法

朴素贝叶斯法通过训练数据集学习联合概率分布 $P(X,Y)$. 具体地：

1. 学习先验概率分布：
   

   $$P(Y=c_k) , k = 1,2,\cdots,K$$

2. 学习条件概率分布:
   

   $$P(X=x|Y=c_k) = P(X^{(1)} = x^{(1)},\cdots,X^{(n)}|Y=c_k), k = 1,2,\cdots,K$$

于是学习到联合概率分布 $P(X,Y)$。道理简单嘛，就是根据条件概率公式：

$$P(AB) = P(A|B)P(B) = P(B|A)P(A)$$

2.2 分类方法

朴素贝叶斯分类时，对给定的输入 $x$，通过学习到模型计算后验概率分布 $P(Y=c_k|X=x)$，将后验概率最大的类作为 $x$ 的输出。后验概率计算根据贝叶斯定理进行：

P(Y=ck|X)=P(X=x|Y=ck)P(Y=ck)