机器学习-朴素贝叶斯

一、朴素贝叶斯

 1. 朴素贝叶斯简介

朴素贝叶斯是一种基于贝叶斯定理的概率统计分类算法，具有简单、高效的特点。其核心思想是基于已知的先验概率和条件概率，通过贝叶斯公式计算后验概率，从而进行分类。

2. 条件概率

假设我们有一个学生群体，我们想要计算一个学生在考试中取得好成绩（A）的条件概率，假设我们已知该学生是一个诚实的学生（事件 B）。

先验概率：
  P(A)：取得好成绩的先验概率，即在我们了解任何其他信息之前，一个学生取得好成绩的概率。
  P(B)：是一个学生是诚实的先验概率，即在我们了解他考试成绩之前，他是一个诚实学生的概率。

 条件概率：
   P(A|B) ：在我们已知学生是诚实的情况下，他取得好成绩的概率。这是我们所关心的条件概率。

贝叶斯公式：
   贝叶斯公式可以表示为：
 
   其中，
   P(B|A)：在一个学生取得好成绩的情况下，他是诚实的概率。
   P(A) ：取得好成绩的先验概率。
   P(B) ：是一个学生是诚实的先验概率。

现在，我们可以通过具体的数值来解释这些概率。例如，假设 P(A) = 0.8 ，表示一个学生在没有其他信息的情况下取得好成绩的概率为80%。假设 P(B) = 0.9 ，表示一个学生在没有了解他考试成绩的情况下是诚实的概率为90%。而 P(B|A) = 0.95 ，表示一个学生在取得好成绩的情况下是诚实的概率为95%。通过贝叶斯公式，我们可以计算出  P(A|B) ，即在我们已知一个学生是诚实的情况下，他取得好成绩的概率。

二、朴素贝叶斯分类器

1. 预测网球数据集

通过一个简单的例子，我们可以更好地理解朴素贝叶斯分类器的应用。假设我们有一个网球数据集，包括天气、温度、湿度等因素，以及是否适合打网球的标签。我们可以使用朴素贝叶斯分类器来预测在给定天气条件下是否适合打网球。

 2. 拉普拉斯修正

拉普拉斯修正常用于解决朴素贝叶斯分类器中概率为零的问题，尤其是在处理稀疏数据集时。下面是一个简单的例子，说明拉普拉斯修正的应用。

假设我们有一个文本分类的问题，需要判断一段文字是关于体育（S）还是科技（T）。我们考虑两个特征：文本中包含“球”字的概率和文本中包含“技术”字的概率。

原始计算：

P("球"∣S)：在体育类文本中包含“球”字的概率。

P("技术"∣S)：在体育类文本中包含“技术”字的概率。

   如果在我们的训练数据中，没有任何体育类文本包含“技术”字，那么 P("技术"∣S) 就等于零，导致在计算后验概率时整个概率为零。

拉普拉斯修正：
   使用拉普拉斯修正，我们将所有计数都增加一个小的正数（通常是1），以确保概率不会为零。

   这样，即使在训练数据中没有“技术”字出现在体育类文本中，通过拉普拉斯修正，我们也能够计算出一个非零的概率。

这个修正可以应用于所有特征，确保每个类别下的每个特征都有一个非零的概率。这有助于提高模型的鲁棒性，特别是在面对稀疏数据集时。

三.电子邮件分类 

1. 读取文件内容： read_file 函数用于读取文件内容，将文件内容存储为字符串。

2. 获取文件路径： 获取训练集和测试集中正常邮件（ham）和垃圾邮件（spam）的文件路径。

3. 读取文本内容： 使用文件路径读取训练集和测试集中的文本内容。

4. 构建文本向量： 使用 CountVectorizer 构建文本向量，将文本转化为词袋模型。

5. 构建标签： 创建训练集和测试集的标签，用 'ham' 表示正常邮件，'spam' 表示垃圾邮件。

6. 训练分类器： 使用 MultinomialNB 训练朴素贝叶斯分类器。

7. 预测和计算准确率： 对测试集进行预测，并使用 accuracy_score 计算准确率。

8. 打印准确率： 打印最终的准确率。

import os
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import accuracy_score

# 读取文件内容
def read_file(file_path):
    with open(file_path, 'r', encoding='latin-1') as file:
        contents = file.read()
    return contents

# 获取训练集和测试集文件路径
train_ham_files = [os.path.join('D:/email/ham', file) for file in os.listdir('D:/email/ham')]
train_spam_files = [os.path.join('D:/email/spam', file) for file in os.listdir('D:/email/spam')]
test_ham_files = [os.path.join('D:/email/test/ham', file) for file in os.listdir('D:/email/test/ham')]
test_spam_files = [os.path.join('D:/email/test/spam', file) for file in os.listdir('D:/email/test/spam')]

# 读取训练集和测试集的文本内容
train_ham_texts = [read_file(file) for file in train_ham_files]
train_spam_texts = [read_file(file) for file in train_spam_files]
test_ham_texts = [read_file(file) for file in test_ham_files]
test_spam_texts = [read_file(file) for file in test_spam_files]

# 构建文本向量
vectorizer = CountVectorizer()
X_train = vectorizer.fit_transform(train_ham_texts + train_spam_texts)
X_test = vectorizer.transform(test_ham_texts + test_spam_texts)

# 构建标签
y_train = ['ham'] * len(train_ham_texts) + ['spam'] * len(train_spam_texts)
y_test = ['ham'] * len(test_ham_texts) + ['spam'] * len(test_spam_texts)

# 训练朴素贝叶斯分类器
classifier = MultinomialNB()
classifier.fit(X_train, y_train)

# 预测并计算准确率
y_pred = classifier.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)

print("Accuracy: {:.2%}".format(accuracy))

四.总结：

朴素贝叶斯推断的优点与缺点

优点：

1. 生成式模型：朴素贝叶斯是一种生成式模型，通过计算概率来进行分类。这使其能够有效地处理多分类问题，为不同类别提供概率分布。

2. 适用于小规模数据：在小规模数据集上表现良好，尤其适合处理文本分类等任务。其简单的算法结构使得在有限数据下也能取得良好的效果。

3. 适合多分类任务：朴素贝叶斯广泛用于多分类任务，特别是在自然语言处理领域中，例如垃圾邮件分类等。

4. 适合增量式训练：可以进行增量式训练，对新数据的适应性较强，不需要重新训练整个模型。

5. 算法简单：算法相对简单，易于实现和理解。

缺点：

1. 对输入数据敏感：朴素贝叶斯对输入数据的表达形式较为敏感，如果特征之间存在相关性，可能导致模型的性能下降。

2.朴素的“朴素”特点：由于朴素贝叶斯对特征的独立性做了朴素的假设，因此可能会带来一些准确率上的损失。实际中，特征之间往往存在一定的相关性。

3. 先验概率计算：需要计算先验概率，分类决策中存在一定的错误率。对于先验概率的准确估计对模型的影响较大。

总体而言，朴素贝叶斯在特定场景下表现优越，但在处理复杂关系、大规模数据集或对准确度要求较高的任务中可能不如其他复杂模型。在实际应用中，需要根据具体问题的特点选择适当的模型。