朴素贝叶斯分类器

朴素贝叶斯分类器

朴素贝叶斯分类器是基于贝叶斯定理与特征条件独立假设的分类方法，是一种从概率框架出发的生成模型。
监督学习假设输入与输出的随机变量$X$和$Y$遵循一个联合概率分布$P(X,Y)$, 这个分布存在且未知，训练数据与测试数据被看作是依照该联合概率独立同分布产生的。朴素贝叶斯法便是通过统计训练数据集估计联合概率分布$P(X,Y)$。

基本思路

估计$P(X,Y)$的具体方法为，估计先验概率分布$P(Y)$ 和 条件概率分布$P(X|Y)$ ，通过公式
$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(Y)P(X|Y)}{P(X)}$$
得到后验概率$P(Y|X)$ 。
直观一点后验概率可以理解为，当给定一个样本$x$时，$x$属于某个类的概率。那么，分类器只需要把概率最高的那个类作为分类结果即可。所以贝叶斯分类器就选择使后验概率最大的那个类别$c$作为输出，即分类决策函数$f(x)$写做：
$$\begin{array}{rl}f(x)& ={\mathrm{argmax}}_{c\in Y}P(c|x)\\ & ={\mathrm{argmax}}_{c\in Y}\frac{P(c)P(x|c)}{P(x)}\end{array}$$
式中$P(x)$与类标无关，对于所有可能的类都是相同的值，所以$f(x)$可以写为：
$$f(x)$$