机器学习——朴素贝叶斯

Ascons

已于 2023-11-27 22:52:41 修改

阅读量276

点赞数 1

CC 4.0 BY-SA版权

文章标签： python 笔记

于 2023-11-21 14:42:46 首次发布

本文链接：https://blog.csdn.net/Ascons/article/details/134531746

朴素贝叶斯算法是一种基于贝叶斯定理的简单分类方法，尤其适合文本分类和垃圾邮件过滤。它利用先验概率和条件概率，尽管假设特征独立可能不准确，但因其高效性和适用性广泛而被广泛应用。本文介绍了朴素贝叶斯的核心概念，以及如何用Python实现垃圾邮件识别的一个实例。

一、朴素贝叶斯的简要介绍

朴素贝叶斯内容：

朴素贝叶斯是一种基于贝叶斯定理的分类算法，常用于文本分类、垃圾邮件过滤等领域。它的基本思想是通过先验概率和条件概率计算后验概率，从而实现分类。在朴素贝叶斯分类中，我们假设每个特征（词汇、属性等）与其他特征都是独立的，这就是“朴素”的原因。

朴素贝叶斯的优缺点：

优点：

简单性：朴素贝叶斯算法基于简单的概率计算，易于理解和实现。
高效性：朴素贝叶斯算法在处理大规模文本分类问题时具有很高的运行速度，适用于大规模数据集。
适用范围广：朴素贝叶斯算法可以应用于多种领域，如文本分类、垃圾邮件过滤等。
对缺失数据鲁棒性较好：因为朴素贝叶斯算法不需要对缺失数据做特殊处理，所以对缺失数据的鲁棒性较好。

缺点：

特征独立性假设：朴素贝叶斯算法对特征之间的独立性做出了强假设，但在实际问题中，特征之间往往存在相关性，这可能会影响分类精度。
零概率问题：如果某个特征在训练数据中没有出现过，那么该特征对应的条件概率为0，这将导致整个后验概率为0，无法进行分类。
对连续变量的处理较为困难：朴素贝叶斯算法通常采用离散化处理来处理连续变量，但这可能会损失一些信息。
依赖于先验概率：朴素贝叶斯算法的分类结果受到先验概率的影响，如果先验概率不准确，那么分类结果也可能不准确。

应用环境：

分类：朴素贝叶斯算法可以用于文本、图像、音频等数据的分类任务。例如，通过学习训练数据中特征与不同类别之间的关系，可以将新的数据分为不同的类别。
垃圾邮件过滤：朴素贝叶斯算法可以用于垃圾邮件过滤，根据邮件的特征（如发件人、主题、正文内容等），计算该邮件属于垃圾邮件的概率，并进行分类判断，以实现自动过滤垃圾邮件的功能。
诊断：在医学领域，朴素贝叶斯算法可以用于辅助疾病诊断。通过基于症状和疾病之间的关联关系，计算给定症状条件下某种疾病的概率，从而提供医生做出诊断的参考。

朴素贝叶斯的核心概念

贝叶斯公式：

贝叶斯定理是一种基于概率统计的数学原理，用于计算在给定先验条件下的后验概率。

贝叶斯定理的表达式如下：

其中，

P(A|B) 表示在事件 B 发生的条件下事件 A 发生的概率，即后验概率。
P(B|A) 表示在事件 A 发生的条件下事件 B 发生的概率，即似然度。
P(A) 表示事件 A 的先验概率，即在考虑任何观测结果之前 A 发生的概率。
P(B) 表示事件 B 的先验概率，即在考虑任何观测结果之前 B 发生的概率

先验概率：

先验概率是指在没有观测到任何特征信息的情况下，目标类别的概率分布。它反映了目标类别的先验知识或经验。
比如在垃圾邮箱识别代码中，假设我们知道在所有收到的邮件中，大约有30%是垃圾邮件。那么垃圾邮件的先验概率为0.3，非垃圾邮件的先验概率为0.7。

条件概率：

条件概率是指给定某个特征条件下，目标类别的概率分布。在朴素贝叶斯算法中，假设所有特征之间相互独立，因此可以将条件概率拆分为各个特征的独立条件概率。

后验概率：

后验概率是指在已知某个特征条件下，目标类别的概率分布。根据贝叶斯定理，可以通过先验概率和条件概率计算后验概率。

在垃圾邮箱识别代码中中，可以通过特定词在垃圾邮件和非垃圾邮件中出现的概率，来计算这封邮件属于垃圾邮件的概率，即后验概率。

训练集：

朴素贝叶斯算法依赖于训练集来学习特征和类别之间的关系。训练集包含已知类别的样本数据，用于估计先验概率和条件概率。

朴素贝叶斯实现垃圾邮箱识别的步骤

提供数据集：提供邮件样本。
数据预处理：首先，需要准备一个带有标记（垃圾/非垃圾）的垃圾邮件数据集作为训练集。
特征提取：根据训练集，提取出每个特征在垃圾和非垃圾邮件中的频率或概率。
计算条件概率：使用训练集计算每个特征在垃圾和非垃圾邮件中的条件概率。对于离散特征，可以使用多项式朴素贝叶斯算法；对于连续特征，可以使用高斯朴素贝叶斯算法。
计算先验概率：计算垃圾和非垃圾邮件的先验概率，即它们在整个数据集中的概率。
预测分类：对于新的未标记邮件，将其转换为特征向量表示，并使用贝叶斯定理计算邮件属于垃圾和非垃圾的后验概率。根据后验概率进行分类，选择概率较大的类别作为预测结果。
模型评估：使用测试集对模型进行评估，计算精确率、召回率、F1值等指标来评估分类性能。

import numpy as np

def text_to_features(text):
    # 我们使用简单的规则来提取特征
    features = []
    # 特征1：如果邮件中包含"buy now"或"limited time offer"等关键词，则为垃圾邮件
    if "buy now" in text.lower() or "limited time offer" in text.lower():
        features.append(1)
    else:
        features.append(0)
    # 特征2：如果邮件中数字占总字符数的比例超过0.2，则为垃圾邮件
    num_ratio = sum(c.isdigit() for c in text) / len(text)
    if num_ratio > 0.2:
        features.append(1)
    else:
        features.append(0)
    return features

#将标签转换为二进制形式
def label_to_binary(label):
    return 1 if label == "spam" else 0

# 读取训练数据集
data = [
    ["Get a limited time offer. Buy now!", "spam"],
    ["Hello, how are you doing today?", "not spam"],
    ["Limited stock available. Don't miss out!", "spam"],
    ["Reminder: Meeting at 3pm today.", "not spam"]
]

# 划分特征和标签
X = [row[0] for row in data]
y = [row[1] for row in data]

# 将文本转换为特征向量
X = [text_to_features(text) for text in X]

# 将标签转换为二进制形式
y = np.array([label_to_binary(label) for label in y])

# 创建朴素贝叶斯分类器
nb_classifier = MultinomialNB()

# 在训练集上训练分类器
nb_classifier.fit(X, y)

# 预测新样本
new_samples = [
    "Limited time offer! Buy now and get 50% off.",
    "How about having lunch together tomorrow?"
]
X_new = [text_to_features(text) for text in new_samples]
y_pred = nb_classifier.predict(X_new)

# 打印预测结果
for sample, prediction in zip(new_samples, y_pred):
    if prediction == 1:
        print(f"'{sample}' 是垃圾邮件")
    else:
        print(f"'{sample}' 不是垃圾邮件")

代码内容：

我们定义了一个函数text_to_features，用于将邮件文本转换为特征向量。然后，定义了一个包含邮件文本和标签的数据集，使用text_to_features将邮件文本转换为特征向量，并使用朴素贝叶斯算法训练分类器。最后，测试两个新样本，使用训练好的分类器进行预测，输出预测结果。

生成结果：