朴素贝叶斯实战

朴素贝叶斯分类

背景知识

贝叶斯分类：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。

先验概率： 根据以往经验和分析得到的概率。我们用𝑃(𝑌)来代表在没有训练数据前假设𝑌拥有的初始概率。

后验概率： 根据已经发生的事件来分析得到的概率。以𝑃(𝑌|𝑋)代表假设𝑋 成立的情下观察到𝑌数据的概率，因为它反映了在看到训练数据𝑋 后𝑌成立的置信度。

联合概率： 联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。𝑋与𝑌的联合概率表示为𝑃 𝑋, 𝑌 、 𝑃(𝑋𝑌) 或𝑃(𝑋 ∩ 𝑌) 。假设𝑋和𝑌都服从正态分布，那么𝑃(𝑋 < 5, 𝑌 < 0)就是一个联合概率，表示 𝑋 < 5, 𝑌 < 0两个条件同时成立的概率。表示两个事件共同发生的概率。

贝叶斯公式

$P(Y\mid X)=\frac{P(X,Y)}{P(X)}=\frac{P(X\mid Y)P(Y)}{P(X)}$​

朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布 𝑃(𝑋, 𝑌)，然后求得后验概率分布𝑃(𝑌|𝑋)。具体来说，利用训练数据学习𝑃(𝑋|𝑌)和𝑃(𝑌)的估计，得到联合概率分布：𝑃(𝑋, 𝑌)＝𝑃(𝑋|𝑌) 𝑃(𝑌)

朴素贝叶斯原理

1．朴素贝叶斯法是典型的生成学习方法。

生成方法由训练数据学习联合概率分布 𝑃(𝑋, 𝑌)，然后求得后验概率分布𝑃(𝑌|𝑋)。具体来说，利用训练数据学习𝑃(𝑋|𝑌)和𝑃(𝑌)的估计，得到

联合概率分布：𝑃(𝑋, 𝑌)＝𝑃(𝑌)𝑃(𝑋|𝑌)

概率估计方法可以是极大似然估计或贝叶斯估计。

2．朴素贝叶斯法的基本假设是条件独立性。

$\mathrm{P}\left(\mathrm{X}=\mathrm{x}\mid \mathrm{Y}={\mathrm{c}}_{\mathrm{k}}\right)=\mathrm{P}\left({\mathrm{x}}^{(1)},\cdots ,{\mathrm{x}}^{(\mathrm{n})}\mid {\mathrm{y}}^{\mathrm{k}}\right)={\prod }_{\mathrm{j}=1}^{\mathrm{n}}\mathrm{P}\left({\mathrm{x}}^{(\mathrm{j})}\mid \mathrm{Y}={\mathrm{c}}_{\mathrm{k}}\right)$

${\mathrm{c}}_{\mathrm{k}}$​代表类别，k代表类别个数。基于独立性假设，贝叶斯公式可重写为

$P(c\mid \mathbf{x})=\frac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}{\prod }_{i=1}^{d}P\left(x_i\mid c\right)$

这是一个较强的假设。由于这一假设，模型包含的条件概率的数量大为减少，朴素贝叶斯法的学习与预测大为简化。因而朴素贝叶斯法高效，且易于实现。其缺点是分类的性能不一定很高。

3．朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测

$P(c\mid \mathbf{x})=\frac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}{\prod }_{i=1}^{d}P\left(x_i\mid c\right)$

由于对所有类别来说分母P(x)相同，因此我们的目标是要找到一个最大的联合分布概率，即：

$h_{nb}($