机器学习——朴素贝叶斯

一、朴素贝叶斯的简要介绍 

朴素贝叶斯内容：

        朴素贝叶斯是一种基于贝叶斯定理的分类算法，常用于文本分类、垃圾邮件过滤等领域。它的基本思想是通过先验概率和条件概率计算后验概率，从而实现分类。在朴素贝叶斯分类中，我们假设每个特征（词汇、属性等）与其他特征都是独立的，这就是“朴素”的原因。

朴素贝叶斯的优缺点：

优点：

1. 简单性：朴素贝叶斯算法基于简单的概率计算，易于理解和实现。

2. 高效性：朴素贝叶斯算法在处理大规模文本分类问题时具有很高的运行速度，适用于大规模数据集。

3. 适用范围广：朴素贝叶斯算法可以应用于多种领域，如文本分类、垃圾邮件过滤等。

4. 对缺失数据鲁棒性较好：因为朴素贝叶斯算法不需要对缺失数据做特殊处理，所以对缺失数据的鲁棒性较好。

缺点：

1. 特征独立性假设：朴素贝叶斯算法对特征之间的独立性做出了强假设，但在实际问题中，特征之间往往存在相关性，这可能会影响分类精度。

2. 零概率问题：如果某个特征在训练数据中没有出现过，那么该特征对应的条件概率为0，这将导致整个后验概率为0，无法进行分类。

3. 对连续变量的处理较为困难：朴素贝叶斯算法通常采用离散化处理来处理连续变量，但这可能会损失一些信息。

4. 依赖于先验概率：朴素贝叶斯算法的分类结果受到先验概率的影响，如果先验概率不准确，那么分类结果也可能不准确。

应用环境：

1. 分类：朴素贝叶斯算法可以用于文本、图像、音频等数据的分类任务。例如，通过学习训练数据中特征与不同类别之间的关系，可以将新的数据分为不同的类别。

2. 垃圾邮件过滤：朴素贝叶斯算法可以用于垃圾邮件过滤，根据邮件的特征（如发件人、主题、正文内容等），计算该邮件属于垃圾邮件的概率，并进行分类判断，以实现自动过滤垃圾邮件的功能。

3. 诊断：在医学领域，朴素贝叶斯算法可以用于辅助疾病诊断。通过基于症状和疾病之间的关联关系，计算给定症状条件下某种疾病的概率，从而提供医生做出诊断的参考。

朴素贝叶斯的核心概念

 贝叶斯公式：

贝叶斯定理是一种基于概率统计的数学原理，用于计算在给定先验条件下的后验概率。

贝叶斯定理的表达式如下：

                                          

其中，

• P(A|B) 表示在事件 B 发生的条件下事件 A 发生的概率，即后验概率。
• P(B|A) 表示在事件 A 发生的条件下事件 B 发生的概率，即似然度。
• P(A) 表示事件 A 的先验概率，即在考虑任何观测结果之前 A 发生的概率。
• P(B) 表示事件 B 的先验概率，即在考虑任何观测结果之前 B 发生的概率

  

先验概率：

先验概率是指在没有观测到任何特征信息的情况下，目标类别的概率分布。它反映了目标类别的先验知识或经验。
比如在垃圾邮箱识别代码中，假设我们知道在所有收到的邮件中，大约有30%是垃圾邮件。那么垃圾邮件的先验概率为0.3，非垃圾邮件的先验概率为0.7。

条件概率：

条件概率是指给定某个特征条件下，目标类别的概率分布。在朴素贝叶斯算法中，假设所有特征之间相互独立，因此可以将条件概率拆分为各个特征的独立条件概率。

后验概率：

后验概率是指在已知某个特征条件下，目标类别的概率分布。根据贝叶斯定理，可以通过先验概率和条件概率计算后验概率。

在垃圾邮箱识别代码中中，可以通过特定词在垃圾邮件和非垃圾邮件中出现的概率，来计算这封邮件属于垃圾邮件的概率，即后验概率。

训练集：

朴素贝叶斯算法依赖于训练集来学习特征和类别之间的关系。训练集包含已知类别的样本数据，用于估计先验概率和条件概率。

朴素贝叶斯实现垃圾邮箱识别的步骤

1. 提供数据集：提供邮件样本。

2. 数据预处理：首先，需要准备一个带有标记（垃圾/非垃圾）的垃圾邮件数据集作为训练集。

3. 特征提取：根据训练集，提取出每个特征在垃圾和非垃圾邮件中的频率或概率。

4. 计算条件概率：使用训练集计算每个特征在垃圾和非垃圾邮件中的条件概率。对于离散特征，可以使用多项式朴素贝叶斯算法；对于连续特征，可以使用高斯朴素贝叶斯算法。

5. 计算先验概率：计算垃圾和非垃圾邮件的先验概率，即它们在整个数据集中的概率。

6. 预测分类：对于新的未标记邮件，将其转换为特征向量表示，并使用贝叶斯定理计算邮件属于垃圾和非垃圾的后验概率。根据后验概率进行分类，选择概率较大的类别作为预测结果。

7. 模型评估：使用测试集对模型进行评估，计算精确率、召回率、F1值等指标来评估分类性能。

import numpy as np

def text_to_features(text):
    # 我们使用简单的规则来提取特征
    features = []
    # 特征1：如果邮件中包含"buy now"或"limited time offer"等关键词，则为垃圾邮件
    if "buy now" in text.lower() or "limited time offer" in text.lower():
        features.append(1)
    else:
        features.append(0)
    # 特征2：如果邮件中数字占总字符数的比例超过0.2，则为垃圾邮件
    num_ratio = sum(c.isdigit() for c in text) / len(text)
    if num_ratio > 0.2:
        features.append(1)
    else:
        features.append(0)
    return features

#将标签转换为二进制形式
def label_to_binary(label):
    return 1 if label == "spam" else 0

# 读取训练数据集
data = [
    ["Get a limited time offer. Buy now!", "spam"],
    ["Hello, how are you doing today?", "not spam"],
    ["Limited stock available. Don't miss out!", "spam"],
    ["Reminder: Meeting at 3pm today.", "not spam"]
]

# 划分特征和标签
X = [row[0] for row in data]
y = [row[1] for row in data]

# 将文本转换为特征向量
X = [text_to_features(text) for text in X]

# 将标签转换为二进制形式
y = np.array([label_to_binary(label) for label in y])

# 创建朴素贝叶斯分类器
nb_classifier = MultinomialNB()

# 在训练集上训练分类器
nb_classifier.fit(X, y)

# 预测新样本
new_samples = [
    "Limited time offer! Buy now and get 50% off.",
    "How about having lunch together tomorrow?"
]
X_new = [text_to_features(text) for text in new_samples]
y_pred = nb_classifier.predict(X_new)

# 打印预测结果
for sample, prediction in zip(new_samples, y_pred):
    if prediction == 1:
        print(f"'{sample}' 是垃圾邮件")
    else:
        print(f"'{sample}' 不是垃圾邮件")

代码内容：

        我们定义了一个函数text_to_features，用于将邮件文本转换为特征向量。然后，定义了一个包含邮件文本和标签的数据集，使用text_to_features将邮件文本转换为特征向量，并使用朴素贝叶斯算法训练分类器。最后，测试两个新样本，使用训练好的分类器进行预测，输出预测结果。

生成结果：

可以看出，在经过给定的训练集样本训练后，正确的判断了给定的两个待测样本是否为垃圾邮件。

总结：

        朴素贝叶斯是一种基于贝叶斯定理和特征条件独立假设的分类算法。它假设每个特征与其他特征之间都是相互独立的，在实际应用中可能并不成立，但这种简化使得朴素贝叶斯变得高效且易于实现。朴素贝叶斯常用于文本分类、垃圾邮件过滤等任务，并且在处理大规模数据集时表现良好。