统计学习方法—朴素贝叶斯法

朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。

原理

对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。

相关公式

1.条件概率公式：
$$P(X|Y)=\frac{P(X,Y)}{P(Y)}，P(Y|X)=\frac{P(X,Y)}{P(X)}$$
2.条件独立公式，若X，Y相互独立则：
$$P(X,Y)=P(X)P(Y)$$
3.全概率公式：
$$P(X)=\sum _{k}P(X|Y=Y_k)P(Y_k)，其中\sum _{k}P(Y_k)=1（完备事件组）$$
4.由上述公式知贝叶斯公式：
$$P(Y=Y_k|X=x)=\frac{P(X=x,Y=Y_k)}{P(X=x)}=\frac{P(Y=Y_k)P(X|Y_k)}{{\sum }_k^{}P(X|Y=Y_k)P(Y_k)}$$
根据条件独立公式知：
$$P(Y=Y_k|X=x)=\frac{P(Y=Y_k)P(X|Y_k)}{{\sum }_k^{}P(X|Y=Y_k)P(Y_k)}$$

朴素贝叶斯基本方法

朴素贝叶斯法通过训练数据集学习联合概率分布$P(X,Y)$。具体地，通过学习先验概率分布及条件概率分布。

先验概率分布：
$$P(Y=c_k),k=1,2,\cdots ,K\text{\hspace{1em}(4.1)}$$条件概率分布：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)k=1,2,\cdots ,K\text{\hspace{1em}(4.2)}$$于是学习到联合概率分布$P(X,Y)$.

朴素贝叶斯法对条件概率分布作了条件独立性的假设。由于这是一个较强的假设，朴素贝叶斯也由此得名。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的。具体地，条件独立假设是：
$$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)},\cdots ,X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^j=x^j|Y=c_k)\text{\hspace{1em}(4.3)}$$
朴素贝叶斯法分类时，对给定的输入x，通过学习到的模型计算后验概率分布$P(Y=c_k|X=x)$,将后验概率最大的类作为x的类输出。
后验概率计算根据贝叶斯定理进行：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k,X=x)}{P(X=x)}=\frac{P(X=x|Y=c_k)P(Y=c_k)}{{\sum }_{k}P(X=x|Y=c_k)P(Y=c_k)}\text{\hspace{1em}(4.4)}$$根据条件独立假设将式(4.3)代入式(4.4)有：
$$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K\text{\hspace{1em}(4.5)}$$这就是朴素贝叶斯分类的基本公式。

朴素贝叶斯分类器可表示为:
$$y=f(x)=\underset{c_k}{\mathrm{argmax}}\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)},k=1,2,\cdots ,K\text{\hspace{1em}(4.6)}$$由于式(4.6)中分母对所有$c_k$都是相同的，所以$$y=\underset{c_k}{\mathrm{argmax}}P(Y=c_k)\prod _{j}P(X^{(j)}=x^{(j)}|Y=c_k)\text{\hspace{1em}(4.7)}$$