机器学习 | 朴素贝叶斯

1. 朴素贝叶斯基本原理

在实际应用中，朴素贝叶斯常被用于文本分类、垃圾邮件过滤等领域。

前提假设

朴素贝叶斯（Naive Bayes）是一种基于贝叶斯定理的分类算法。它假设特征之间相互独立，这是“朴素”（naive）的来源。尽管这一假设在现实中很少成立，但朴素贝叶斯在实际应用中表现良好，并且计算效率高。

朴素贝叶斯基于以下假设：

$$P(x_1,x_2,\dots ,x_n|C)=P(x_1|C)\cdot P(x_2|C)\cdot \dots \cdot P(x_n|C)$$

其中 $x_1,x_2,\dots ,x_n$是特征，$C$是类别。

分类准则

给定一个类别变量 $C$ 和一个特征变量向量 $\mathbf{X}=(X_1,X_2,\dots ,X_n)$，根据贝叶斯定理，后验概率可以表示为：

$$P(C|\mathbf{X})=\frac{P(\mathbf{X}|C)\cdot P(C)}{P(\mathbf{X})}$$

其中：

• $P(C|\mathbf{X})$ 是给定特征 $\mathbf{X}$ 条件下类别 $C$ 的后验概率。
• $P(\mathbf{X}|C)$ 是在类别 $C$ 下观察到特征 $\mathbf{X}$ 的概率。
• $P(C)$ 是类别 $C$ 的先验概率。
• $P(\mathbf{X})$ 是观察到特征 $\mathbf{X}$ 的概率，它可以被忽略，因为在分类时我们主要关注后验概率的相对大小。

而朴素贝叶斯的分类则是通过计算每个类别的后验概率，然后选择具有最高后验概率的类别作为最终的预测结果。

$$\hat{y}=\arg \underset{c}{\max }P(C=c|\mathbf{X})$$

2. 离散特征的朴素贝叶斯

多项式朴素贝叶斯

在多项式朴素贝叶斯中，则先验概率$P(C)$可以通过类别$C$在训练数据中出现的频率来估计：

$$P(C)=\frac{\text{类别C在训练数据中的样本数}}{\text{总样本数}}$$

假设特征 $X_i$ 的可能取值是 $x_{i1},x_{i2},\dots ,x_{ik}$，则条件概率为：

$$P(X_i=x_{ij}|C=c)={\theta }_{ij}$$

其中，${\theta }_{ij}$ 是在类别 $C=c$ 下特征 $X_i$ 取值为 $x_{ij}$ 的概率。

模型参数的估计通常通过极大似然估计来进行。对于多项式朴素贝叶斯，参数估计可以表示为：

$${\theta }_{ij}=\frac{N_c(x_{ij})}{N_c}$$

其中，$N_c(x_{ij})$ 是在类别 $C=c$ 下特征 $X_i$ 取值为 $x_{ij}$ 的样本数，$N_c$ 是类别 $C=c$ 下的样本总数，$k$ 是特征 $X_i$ 可能的取值个数。

而在实际问题中，为了避免概率为零的情况，通常会使用 Laplace 平滑（加法平滑）来估计概率。

$${\theta }_{ij}=\frac{N_{ij}+\alpha }{N_c+\alpha \cdot k}$$

其中，$N_{ij}$ 是在类别 $C=c$ 下特征 $X_i$ 取值为 $x_{ij}$ 的样本数，$N_c$ 是类别 $C=c$ 下的样本总数，$k$ 是特征 $X_i$ 可能的取值个数，$\alpha$ 是平滑参数。

二项式朴素贝叶斯

在二项式朴素贝叶斯中，假设特征 $X_i$ 的可能取值是二元的，即 $x_{i1}$ 和 $x_{i2}$。先验概率与上述相同，而条件概率为：

$$P(X_i=x_{ij}|C=c)={\theta }_{ij}$$

其中，${\theta }_{ij}$ 是在类别 $C=c$ 下特征 $X_i$ 取值为 $x_{ij}$ 的概率。

参数估计通常通过极大似然估计来进行。对于二项式朴素贝叶斯，参数估计可以表示为：

$${\theta }_{ij}=\frac{N_c(x_{ij})+\alpha }{N_c+\alpha \cdot 2}$$

其中，$N_c(x_{ij})$ 是在类别 $C=c$ 下特征 $X_i$ 取值为 $x_{ij}$ 的样本数，$N_c$ 是类别 $C=c$ 下的样本总数，$\alpha$ 是平滑参数，取值通常为 1。

这样，我们涵盖了多项式、高斯和二项式朴素贝叶斯的基本原理及参数估计。

3. 连续特征的朴素贝叶斯

高斯朴素贝叶斯

在高斯朴素贝叶斯中，假设特征是连续的，且服从高斯分布。对于类别 $C=c$，特征 $X_i$ 的概率密度函数为：

$$P(X_i=x|C=c)=\frac{1}{\sqrt{2\pi {\sigma }_{ci}^2}}\exp \left(-\frac{(x-{\mu }_{ci}{)}^2}{2{\sigma }_{ci}^2}\right)$$

其中，${\mu }_{ci}$ 和 ${\sigma }_{ci}^2$ 分别是在类别 $C=c$ 下特征 $X_i$ 的均值和方差。

模型参数的估计可以通过计算样本均值 ${\mu }_{ci}$ 和样本方差 ${\sigma }_{ci}^2$ 来进行。