机器学习中的朴素贝叶斯算法：原理与实战

于 2024-05-12 14:46:46 发布
阅读量971 收藏 8
点赞数 32
文章标签： 机器学习 算法 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_73992050/article/details/138588887
版权

目录

一、引言

二、朴素贝叶斯算法原理

1. 贝叶斯定理

2. 朴素贝叶斯假设

3. 拉普拉斯平滑

三、贝叶斯定理在机器学习中的应用场景

四、朴素贝叶斯算法的优缺点

优点：

缺点：

五、实战案例：脱单预测

1.数据准备

2.计算先验概率

3.计算条件概率

4.计算后验概率

5.预测结果分析

6.完整代码

五、总结

一、引言

在机器学习领域，分类算法一直是一个热门的研究方向。朴素贝叶斯（Naive Bayes）算法作为一种基于贝叶斯定理和特征条件独立假设的分类方法，因其简单高效而在文本分类、垃圾邮件过滤、情感分析等任务中得到了广泛应用。本文将介绍朴素贝叶斯算法的原理、优缺点，并通过实战案例来加深理解。

二、朴素贝叶斯算法原理

1. 贝叶斯定理

了解贝叶斯定理前先介绍以下概念

先验概率：在观察到数据之前，某个事件发生的概率。

后验概率：在观察到数据之后，某个事件发生的概率。

条件概率：一个事件在另一个事件已经发生的条件下的概率。

贝叶斯定理是关于条件概率的一个定理，它描述了两个条件概率之间的关系。在分类问题中，我们可以使用贝叶斯定理来计算某个样本属于某个类别的概率。

给定一个类别C和一个特征F，贝叶斯定理可以表示为：

P\left ( C|F \right )=\frac{P(F|C)P(C)}{P(F)}

其中，P(C∣F) 表示在给定特征F的条件下，类别C的概率，也称后验概率；P(F∣C) 表示在给定类别C的条件下，特征F的概率，也称条件概率；P(C) 表示类别C的概率，即先验概率；P(F) 表示特征F的概率。

2. 朴素贝叶斯假设

朴素贝叶斯算法的核心假设是：特征之间是相互独立的。这个假设在实际应用中往往并不完全成立，但它在很多情况下仍然能够取得很好的效果。由于这个假设，我们可以将上述贝叶斯定理简化为：

P(C|F_{1},F_{2},....,F_{n})=\frac{P(C)\prod_{i=1}^{n}P(F_{i}|C)}{P(F_{1},F_{2},....,F_{n})}

由于分母P(F1​,F2​,...,Fn​)对于所有类别都是相同的，因此在比较不同类别的概率时，我们可以忽略分母，只关注分子部分。

3. 拉普拉斯平滑

当某些事件在数据集中从未出现过时，直接应用贝叶斯定理可能会导致除以零的错误或产生不准确的概率估计拉普拉斯平滑通过在分子和分母中添加一个小的常数（通常是1）来避免这种情况，从而确保所有事件的概率都是非零的。

三、贝叶斯定理在机器学习中的应用场景

  1. 信息检索：用于检索最相关的信息，并用于搜索引擎排名和查询推荐。
  2. 机器学习：用于评估机器学习模型的参数，并用于分类和回归问题。贝叶斯分类器是其中的一种重要应用，它能够基于词汇的频率和上下文信息，有效地将文档划分为不同的类别。
  3. 风险分析：用于评估风险，并用于风险管理和决策支持。
  4. 计算机视觉：用于识别物体和场景，并用于图像分类和目标检测。
  5. 数据挖掘：用于发现数据中的模式，并用于关联规则挖掘和聚类分析。
  6. 信用评分：用于评估客户的信用风险，并用于信用评分和贷款决策。
  7. 医学诊断：用于识别疾病和病因，并用于疾病检测和预测。
  8. 自然语言处理：用于识别语义和语法，并用于文本分类和文本摘要。

四、朴素贝叶斯算法的优缺点

优点：

  1. 模型简单：朴素贝叶斯算法基于简单的概率计算，易于理解和实现。
  2. 计算高效：在给定训练数据后，预测过程只需要进行简单的概率计算和比较，因此速度很快。
  3. 对缺失数据不敏感：在数据预处理阶段，朴素贝叶斯算法可以很容易地处理缺失数据。

缺点：

  1. 特征独立性假设：朴素贝叶斯算法假设特征之间相互独立，这在现实世界中往往不成立，可能导致分类效果不佳。
  2. 对输入数据的表达形式敏感：朴素贝叶斯算法对于输入数据的表达形式比较敏感，例如文本分类中的词袋模型（Bag of Words）可能会忽略词语之间的顺序信息。

五、实战案例：脱单预测

1.数据准备

Sample颜值身材性格收入学历是否交往
1101111
2110000
3111111
4101010
5110100
6010110
7110000
8101111
9001110
10111111

11

101000
12001110
13111111
14101111
15111111

前五个属性 1代表高水平，0反之；标签 1 代表交往，0代表不交往

def IOdatabases():
    dataset=[[1,0,1,1,1,1],
             [1,1,0,0,0,0],
             [1,1,1,1,1,1],
             [1,0,1,0,1,0],
             [1,1,0,1,0,0],
             [0,1,0,1,1,0],
             [1,1,0,0,0,0],
             [1,0,1,1,1,1],
             [0,0,1,1,1,0],
             [1,1,1,1,1,1],
             [1,0,1,0,0,0],
             [0,0,1,1,1,0],
             [1,1,1,0,1,1],
             [1,0,1,1,1,1],
             [1,1,1,1,1,1]
    ]
    label=['颜值','身材','性格','收入','学历','交往'] #前五个属性 1代表高水平，0反之；标签 1 代表交往，0代表不交往
    #测试集
    testdata=[1,1,0,1,1]
    return dataset,label,testdata

2.计算先验概率

def calculate_prior_probabilities(dataset, target_label_index):
    """
    计算先验概率 P(C_k)
    """
    class_counts = {}
    total_samples = len(dataset)
    for sample in dataset:
        class_label = sample[target_label_index]
        if class_label not in class_counts:
            class_counts[class_label] = 0
        class_counts[class_label] += 1
    prior_probs = {k: v / total_samples for k, v in class_counts.items()}
    return prior_probs

计算结果：

先验概率 :
P(C=交往) = 0.4666666666666667
P(C=不交往) = 0.5333333333333333

3.计算条件概率

def calculate_conditional_probabilities(dataset, target_label, feature_index, feature_values):
    """
    计算类条件概率 P(x_i|C_k)
    """
    class_samples = [sample for sample in dataset if sample[-1] == target_label]
    num_samples = len(class_samples)
    probabilities = {}
    for feature_value in feature_values:
        count = sum(1 for sample in class_samples if sample[feature_index] == feature_value)
        # 防止除零错误，添加平滑项（例如拉普拉斯平滑）
        probabilities[feature_value] = (count + 1) / (num_samples + len(feature_values))
    return probabilities

计算结果：

对于类别 不交往，条件概率 P(x_i|C=0):
P(x_0=1|C=0) = 0.6
P(x_1=1|C=0) = 0.5
P(x_2=0|C=0) = 0.5
P(x_3=1|C=0) = 0.5
P(x_4=1|C=0) = 0.5
对于类别 交往，条件概率 P(x_i|C=1):
P(x_0=1|C=1) = 0.8888888888888888
P(x_1=1|C=1) = 0.5555555555555556
P(x_2=0|C=1) = 0.1111111111111111
P(x_3=1|C=1) = 0.7777777777777778
P(x_4=1|C=1) = 0.8888888888888888

4.计算后验概率

def predict_naive_bayes(dataset, target_label_index, testdata):
    """
    使用朴素贝叶斯分类器进行预测，并打印先验概率、条件概率和后验概率
    """
    # 提取特征值和标签
    feature_values = set([sample[i] for sample in dataset for i in range(len(sample) - 1)])
    labels_set = set([sample[target_label_index] for sample in dataset])

    # 计算先验概率
    prior_probs = calculate_prior_probabilities(dataset, target_label_index)
    print("先验概率 :")
    for class_label, prob in prior_probs.items():
        if class_label == 1: label = '交往'
        if class_label == 0: label = '不交往'
        print(f"P(C={label}) = {prob}")

        # 初始化预测概率为负无穷
    max_posterior_prob = float('-inf')
    predicted_class = None

    # 遍历所有类别
    for class_label in labels_set:
        # 计算先验概率（这里已计算过，但为了保持流程清晰，再次取出）
        prior_prob = prior_probs[class_label]

        # 计算类条件概率的乘积
        posterior_prob = prior_prob
        conditional_probs = {}
        for i, feature_value in enumerate(testdata):
            # 计算条件概率
            probs = calculate_conditional_probabilities(dataset, class_label, i, feature_values)
            conditional_probs[i] = probs[feature_value]
            posterior_prob *= probs[feature_value]

            # 打印条件概率
        if class_label == 1: label = '交往'
        if class_label == 0: label = '不交往'
        print(f"对于类别 {label}，条件概率 P(x_i|C={class_label}):")
        for feature_index, prob in conditional_probs.items():
            print(f"P(x_{feature_index}={testdata[feature_index]}|C={class_label}) = {prob}")

            # 打印后验概率（仅打印当前类别，不比较大小）
        print(f"后验概率 P(C={class_label}|x) = {posterior_prob}")

        # 更新最大后验概率和预测类别（实际比较在循环结束后进行）
        if posterior_prob > max_posterior_prob:
            max_posterior_prob = posterior_prob
            predicted_class = class_label

            # 打印预测结果
    if predicted_class==1 : predicted_result='交往'
    if predicted_class == 0: predicted_result = '不交往'
    print(f"预测结果为：类别 {predicted_result}")

    return predicted_class

计算结果：

后验概率 P(C=0|x) = 0.02
后验概率 P(C=1|x) = 0.017702811789079124

5.预测结果分析

因为P(C=0|x) = 0.02 > P(C=1|x) = 0.017702811789079124，所以预测结果为不交往

6.完整代码

import  numpy  as np
import  math
import pandas as pd

def IOdatabases():
    dataset=[[1,0,1,1,1,1],
             [1,1,0,0,0,0],
             [1,1,1,1,1,1],
             [1,0,1,0,1,0],
             [1,1,0,1,0,0],
             [0,1,0,1,1,0],
             [1,1,0,0,0,0],
             [1,0,1,1,1,1],
             [0,0,1,1,1,0],
             [1,1,1,1,1,1],
             [1,0,1,0,0,0],
             [0,0,1,1,1,0],
             [1,1,1,0,1,1],
             [1,0,1,1,1,1],
             [1,1,1,1,1,1]
    ]
    label=['颜值','身材','性格','收入','学历','交往'] #前五个属性 1代表高水平，0反之；标签 1 代表交往，0代表不交往
    #测试集
    testdata=[1,1,0,1,1]
    return dataset,label,testdata


import numpy as np


def calculate_prior_probabilities(dataset, target_label_index):
    """
    计算先验概率 P(C_k)
    """
    class_counts = {}
    total_samples = len(dataset)
    for sample in dataset:
        class_label = sample[target_label_index]
        if class_label not in class_counts:
            class_counts[class_label] = 0
        class_counts[class_label] += 1
    prior_probs = {k: v / total_samples for k, v in class_counts.items()}
    return prior_probs


def calculate_conditional_probabilities(dataset, target_label, feature_index, feature_values):
    """
    计算类条件概率 P(x_i|C_k)
    """
    class_samples = [sample for sample in dataset if sample[-1] == target_label]
    num_samples = len(class_samples)
    probabilities = {}
    for feature_value in feature_values:
        count = sum(1 for sample in class_samples if sample[feature_index] == feature_value)
        # 防止除零错误，添加平滑项（例如拉普拉斯平滑）
        probabilities[feature_value] = (count + 1) / (num_samples + len(feature_values))
    return probabilities


def predict_naive_bayes(dataset, target_label_index, testdata):
    """
    使用朴素贝叶斯分类器进行预测，并打印先验概率、条件概率和后验概率
    """
    # 提取特征值和标签
    feature_values = set([sample[i] for sample in dataset for i in range(len(sample) - 1)])
    labels_set = set([sample[target_label_index] for sample in dataset])

    # 计算先验概率
    prior_probs = calculate_prior_probabilities(dataset, target_label_index)
    print("先验概率 :")
    for class_label, prob in prior_probs.items():
        if class_label == 1: label = '交往'
        if class_label == 0: label = '不交往'
        print(f"P(C={label}) = {prob}")

        # 初始化预测概率为负无穷
    max_posterior_prob = float('-inf')
    predicted_class = None

    # 遍历所有类别
    for class_label in labels_set:
        # 计算先验概率（这里已计算过，但为了保持流程清晰，再次取出）
        prior_prob = prior_probs[class_label]

        # 计算类条件概率的乘积
        posterior_prob = prior_prob
        conditional_probs = {}
        for i, feature_value in enumerate(testdata):
            # 计算条件概率
            probs = calculate_conditional_probabilities(dataset, class_label, i, feature_values)
            conditional_probs[i] = probs[feature_value]
            posterior_prob *= probs[feature_value]

            # 打印条件概率
        if class_label == 1: label = '交往'
        if class_label == 0: label = '不交往'
        print(f"对于类别 {label}，条件概率 P(x_i|C={class_label}):")
        for feature_index, prob in conditional_probs.items():
            print(f"P(x_{feature_index}={testdata[feature_index]}|C={class_label}) = {prob}")

            # 打印后验概率（仅打印当前类别，不比较大小）
        print(f"后验概率 P(C={class_label}|x) = {posterior_prob}")

        # 更新最大后验概率和预测类别（实际比较在循环结束后进行）
        if posterior_prob > max_posterior_prob:
            max_posterior_prob = posterior_prob
            predicted_class = class_label

            # 打印预测结果
    if predicted_class==1 : predicted_result='交往'
    if predicted_class == 0: predicted_result = '不交往'
    print(f"预测结果为： {predicted_result}")

    return predicted_class


# 示例
dataset, labels, testdata = IOdatabases()
predict_naive_bayes(dataset, -1, testdata)

五、总结

朴素贝叶斯算法以其简洁性和高效性在机器学习的分类问题中占据了一席之地。虽然它的特征独立性假设在实际问题中并不总是成立，但它在很多场景下仍然能够取得很好的效果。通过深入了解朴素贝叶斯算法的原理、特点和变种，并结合实战应用进行探索和优化，我们可以更好地利用这一算法来解决实际问题。

Cow.
关注
  • 32
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值