机器学习：基于朴素贝叶斯算法的西瓜分类

已于 2025-05-05 23:26:56 修改
阅读量884 收藏 29
点赞数 20
文章标签： 机器学习 算法 分类
于 2025-04-29 17:49:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/riririch/article/details/147429479
版权

1. 朴素贝叶斯算法

1.1 基本原理

朴素贝叶斯（Naive Bayes）分类器是一种基于贝叶斯定理并假设特征之间相互独立的概率分类模型。它的核心思想是：在已知某个数据点的各个特征的情况下，计算它属于某个类别的概率，从而进行分类。

朴素贝叶斯模型之所以被称为“朴素”，是因为它作出了一个很强的假设——所有特征之间是条件独立的。虽然这个假设在实际数据中往往不成立，但朴素贝叶斯在很多实际应用中却表现得相当不错，尤其是在文本分类、垃圾邮件识别等领域。

这背后的基础就是贝叶斯定理：

P ( C ∣ X ) = P ( X ∣ C ) ⋅ P ( C ) P ( X ) P(C|X) = \frac{P(X|C) \cdot P(C)}{P(X)} P(C∣X)=P(X)P(X∣C)⋅P(C)​

其中：

  • P ( C ∣ X ) P(C|X) P(C∣X)：在特征 X X X 条件下属于类别 C C C 的后验概率
  • P ( X ∣ C ) P(X|C) P(X∣C)：在类别 C C C 条件下观察到特征 X X X 的似然
  • P ( C ) P(C) P(C)：类别 C C C 出现的先验概率
  • P ( X ) P(X) P(X)：特征 X X X 出现的边际概率，在分类时通常可以忽略（因为对所有类别都是一样的）

1.2 公式推导

假设有一个样本 X = ( x 1 , x 2 , . . . , x n ) X = (x_1, x_2, ..., x_n) X=(x1​,x2​,...,xn​)，每个 x i x_i xi​ 是一个特征值。我们希望计算该样本属于每个类别 C k C_k Ck​ 的概率，并选择概率最大的类别作为预测结果。

（1）先验概率（Prior Probability）

P ( C k ) = 训练集中类别为  C k  的样本数 训练集中样本总数 P(C_k) = \frac{\text{训练集中类别为 } C_k \text{ 的样本数}}{\text{训练集中样本总数}} P(Ck​)=训练集中样本总数训练集中类别为 Ck​ 的样本数​

表示某个类别在训练集中的比例。

（2）条件概率（Likelihood）

由于特征之间条件独立，整体的条件概率可以写成各个特征条件概率的乘积：

P ( X ∣ C k ) = ∏ i = 1 n P ( x i ∣ C k ) P(X|C_k) = \prod_{i=1}^n P(x_i | C_k) P(X∣Ck​)=i=1∏n​P(xi​∣Ck​)

即在类别 C k C_k Ck​ 条件下，各个特征 x i x_i xi​ 同时出现的概率等于它们分别出现的概率的乘积。

（3） 后验概率（Posterior Probability）

最终我们根据贝叶斯定理有：

P ( C k ∣ X ) = P ( C k ) ⋅ ∏ i = 1 n P ( x i ∣ C k ) P ( X ) P(C_k | X) = \frac{P(C_k) \cdot \prod_{i=1}^n P(x_i | C_k)}{P(X)} P(Ck​∣X)=P(X)P(Ck​)⋅∏i=1n​P(xi​∣Ck​)​

因为 P ( X ) P(X) P(X) 对所有类别都是一样的，我们只需比较分子部分：

C ^ = arg ⁡ max ⁡ C k [ P ( C k ) ⋅ ∏ i = 1 n P ( x i ∣ C k ) ] \hat{C} = \arg\max_{C_k} \left[ P(C_k) \cdot \prod_{i=1}^n P(x_i | C_k) \right] C^=argCk​max​[P(Ck​)⋅i=1∏n​P(xi​∣Ck​)]

这就是朴素贝叶斯分类器的预测公式。

1.3 算法优势与局限性

优点：

  • 简单高效：训练和预测速度快，适合大规模数据集。
  • 对小数据集友好：不依赖大量数据，也能有不错表现。
  • 可解释性强：概率模型，输出可以直接理解为属于某类别的概率。
  • 在文本分类中效果优异：如垃圾邮件过滤、情感分析等。

缺点：

  • 特征独立性假设不现实：在许多实际问题中，特征之间是相关的，这种假设会影响分类精度。
  • 对数值特征不够灵活：原始朴素贝叶斯主要处理离散特征，连续特征需要额外处理（如高斯分布假设）。
  • 容易受到零概率影响：如果某个特征值在训练集中未出现，会导致整个乘积为零，影响后验概率（需引入平滑技术解决）。

2. 西瓜数据集介绍

2.1 数据集描述

“西瓜数据集”是机器学习入门中一个非常经典的分类数据集，常用于讲解和实现基本的分类算法。该数据集通过若干个特征来描述西瓜的外观和内部质量，并据此判断是否为“好瓜”。

数据集中共有 17 个样本，每个样本包含如下特征：

  • 色泽（如：青绿、乌黑、浅白）
  • 根蒂（如：蜷缩、稍蜷、硬挺）
  • 敲声（如：浊响、沉闷、清脆）
  • 纹理（如：清晰、稍糊、模糊）
  • 脐部（如：凹陷、稍凹、平坦）
  • 触感（如：硬滑、软粘）
  • 密度（浮点数，如：0.697）
  • 含糖率（浮点数，如：0.460）
  • 好瓜（类别标签，是 / 否）

其中前 6 个为离散特征，后 2 个为连续特征，最后一个为分类标签。

数据样例如下所示：

编号色泽根蒂敲声纹理脐部触感密度含糖率好瓜
1青绿蜷缩浊响清晰凹陷硬滑0.6970.460是
2乌黑蜷缩沉闷清晰凹陷硬滑0.7740.376是
3乌黑蜷缩浊响清晰凹陷硬滑0.6340.264是
4青绿蜷缩沉闷清晰凹陷硬滑0.6080.318是
5浅白蜷缩浊响清晰凹陷硬滑0.5560.215是
6青绿稍蜷浊响清晰稍凹软粘0.4030.237是
7乌黑稍蜷浊响清晰稍凹软粘0.4810.149是
8乌黑稍蜷浊响清晰稍凹硬滑0.4370.211是
9乌黑稍蜷沉闷稍糊稍凹硬滑0.6660.091否
10青绿硬挺清脆清晰平坦软粘0.2430.267否
11浅白硬挺清脆模糊平坦软粘0.2450.057否
12浅白蜷缩浊响模糊平坦硬滑0.3430.099否
13青绿稍蜷浊响稍糊凹陷硬滑0.6390.161否
14浅白稍蜷浊响稍糊凹陷硬滑0.6570.198否
15乌黑稍蜷浊响清晰平坦软粘0.3600.370否
16浅白蜷缩沉闷清晰稍凹硬滑0.5930.042否
17青绿蜷缩沉闷清晰稍凹硬滑0.7190.103否

其中，以训练集中编号为 1 的样本为测试样本，其他16条样本为训练集：

色泽根蒂敲声纹理脐部触感密度含糖率好瓜
青绿蜷缩浊响清晰凹陷硬滑0.6970.460?

2.2 数据预处理

在使用朴素贝叶斯算法之前，需要对数据进行适当的预处理，尤其是区分和处理好离散特征与连续特征：

（1）离散特征处理

对于“色泽、根蒂、敲声、纹理、脐部、触感”这些离散特征，可以使用频率统计法计算条件概率。

（2） 连续特征处理

“密度”和“含糖率”是数值型特征，朴素贝叶斯对连续特征的处理通常有两种方式：

  • 离散化：将连续变量划分为若干个区间，转为分类特征
  • 高斯假设（Gaussian Naive Bayes）：假设特征值服从某个类别下的正态分布，计算概率密度函数值。

本项目中若使用离散化处理，可通过如下方式：

data['密度_bin'] = pd.cut(data['密度'], bins=[0, 0.4, 0.6, 0.8, 1], labels=['低', '中低', '中高', '高'])
data['含糖率_bin'] = pd.cut(data['含糖率'], bins=[0, 0.1, 0.25, 0.4, 0.5], labels=['低', '中低', '中高', '高'])

3. 朴素贝叶斯分类器实现步骤

步骤1：数据读取与准备

我们使用 Python 的 pandas 库读取西瓜数据集。
首先将前面整理好的16条样本构造成 DataFrame。

其中，数据样例中编号为 1 的样本作为测试数据，其余编号为 2~17 的样本作为训练数据。分类标签为“好瓜”一列，取值为“是”或“否”。

对于离散型特征（如色泽、根蒂、敲声、纹理、脐部、触感），我们直接统计频数进行建模；
对于连续型特征（如密度、含糖率），我们可以采用离散化处理后作为类别特征使用，也可以高斯分布估计进行处理。这里先采用离散化处理。

# 加载数据并进行离散化处理
def loadDataSet():
    data = pd.DataFrame([
        ['乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', 0.774, 0.376, '好瓜'],
        ['乌黑', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.634, 0.264, '好瓜'],
        ['青绿', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', 0.608, 0.318, '好瓜'],
        ['浅白', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.556, 0.215, '好瓜'],
        ['青绿', '稍蜷', '浊响', '清晰', '稍凹', '软粘', 0.403, 0.237, '好瓜'],
        ['乌黑', '稍蜷', '浊响', '稍糊', '稍凹', '软粘', 0.481, 0.149, '好瓜'],
        ['乌黑', '稍蜷', '浊响', '清晰', '稍凹', '硬滑', 0.437, 0.211, '好瓜'],
        ['乌黑', '稍蜷', '沉闷', '稍糊', '稍凹', '硬滑', 0.666, 0.091, '坏瓜'],
        ['青绿', '硬挺', '清脆', '清晰', '平坦', '软粘', 0.243, 0.267, '坏瓜'],
        ['浅白', '硬挺', '清脆', '模糊', '平坦', '硬滑', 0.245, 0.057, '坏瓜'],
        ['浅白', '蜷缩', '浊响', '模糊', '平坦', '软粘', 0.343, 0.099, '坏瓜'],
        ['青绿', '稍蜷', '浊响', '稍糊', '凹陷', '硬滑', 0.639, 0.161, '坏瓜'],
        ['浅白', '稍蜷', '沉闷', '稍糊', '凹陷', '硬滑', 0.657, 0.198, '坏瓜'],
        ['乌黑', '稍蜷', '浊响', '清晰', '稍凹', '软粘', 0.360, 0.370, '坏瓜'],
        ['浅白', '蜷缩', '浊响', '模糊', '平坦', '硬滑', 0.593, 0.042, '坏瓜'],
        ['青绿', '蜷缩', '沉闷', '稍糊', '稍凹', '硬滑', 0.719, 0.103, '坏瓜']
    ], columns=['色泽', '根蒂', '敲声', '纹理', '脐部', '触感', '密度', '含糖率', '好坏'])

    # 连续特征离散化
    data['密度'] = pd.cut(data['密度'], bins=[0, 0.4, 0.6, 0.8, 1], labels=['低', '中低', '中高', '高'])
    data['含糖率'] = pd.cut(data['含糖率'], bins=[0, 0.1, 0.25, 0.4, 0.5], labels=['低', '中低', '中高', '高'])

    testSet = ['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '中高', '高']
    labels = ['色泽', '根蒂', '敲声', '纹理', '脐部', '触感', '密度', '含糖率']
    return data, testSet, labels

步骤2：计算先验概率

先验概率是指训练集中各类别（好瓜或坏瓜）的出现频率：
在这里插入图片描述
根据训练集（样本编号2-17）统计：

好瓜（是）共有 7 个样本

坏瓜（否）共有 9 个样本

因此：在这里插入图片描述
具体代码实现：

# 计算先验概率P(c)
def prior():
    dataSet = loadDataSet()[0]  # 载入数据集
    countAll = len(dataSet)
    countG = (dataSet['好坏'] == "好瓜").sum()
    countB = (dataSet['好坏'] == "坏瓜").sum()
    P_G = countG / countAll
    P_B = countB / countAll
    return P_G, P_B

# 测试
data, testSet, labels = loadDataSet()
P_G, P_B = prior()
print(f"好瓜的先验概率 P(好瓜) = {P_G:}")
print(f"坏瓜的先验概率 P(坏瓜) = {P_B:}")

运行结果：
在这里插入图片描述

步骤3：计算条件概率

对于测试样本的每个特征，我们统计在训练集中，类别为“好瓜”或“坏瓜”条件下，各个特征值的出现频率。

例如：特征“色泽”为“青绿”
在这里插入图片描述
依此类推，计算其他所有特征的条件概率。

⚠️ 若某个特征值在某一类中从未出现，则条件概率为 0，会导致后验概率为 0，因此我们可使用拉普拉斯平滑避免该问题（详见后续第四部分）。

具体代码实现：

# 计算条件概率P(c|xi)
def P(index, cla):
    dataSet, testSet, labels = loadDataSet()  # 载入数据集
    countG = sum(1 for _, row in dataSet.iterrows() if row['好坏'] == "好瓜")
    countB = sum(1 for _, row in dataSet.iterrows() if row['好坏'] == "坏瓜")
    
    lst = [
        row for _, row in dataSet.iterrows()
        if row['好坏'] == cla and row[labels[index]] == testSet[index]
    ]
    
    denom = countG if cla == "好瓜" else countB
    prob = len(lst) / denom if denom > 0 else 0
    return prob

#运行测试
data, testSet, labels = loadDataSet()
print("好瓜类条件概率：")
for i in range(len(labels)):
    print(f"P({labels[i]}={testSet[i]} | 好瓜) =", P(i, "好瓜"))

print("\n坏瓜类条件概率：")
for i in range(len(labels)):
    print(f"P({labels[i]}={testSet[i]} | 坏瓜) =", P(i, "坏瓜"))

运行结果：
在这里插入图片描述
在这里插入图片描述

步骤4：分类预测

根据朴素贝叶斯公式：
在这里插入图片描述
分别计算样本属于“好瓜”和“坏瓜”的后验概率：
对于“好瓜”类别：
在这里插入图片描述
对于“坏瓜”类别：
在这里插入图片描述
将上述所有条件概率代入，计算两个结果，比较其大小，概率更大的即为分类结果。

最终分类：
根据计算结果，如果：
在这里插入图片描述
则判定为“好瓜”，否则为“坏瓜”。
在不使用平滑的情况下，该样本分类结果可能受“零概率”影响，因此推荐使用拉普拉斯平滑技术（详见第四部分）。

# 预测后验概率P(c|xi)
def bayes():
    # 计算类先验概率
    P_G, P_B = prior()
    # 计算条件概率
    P0_G = P(0, "好瓜")  # P(青绿|好瓜)
    P0_B = P(0, "坏瓜")  # P(青绿|坏瓜)
    P1_G = P(1, "好瓜")  # P(蜷缩|好瓜)
    P1_B = P(1, "坏瓜")  # P(蜷缩|坏瓜)
    P2_G = P(2, "好瓜")  # P(浊响|好瓜)
    P2_B = P(2, "坏瓜")  # P(浊响|坏瓜)
    P3_G = P(3, "好瓜")  # P(清晰|好瓜)
    P3_B = P(3, "坏瓜")  # P(清晰|坏瓜)
    P4_G = P(4, "好瓜")  # P(凹陷|好瓜)
    P4_B = P(4, "坏瓜")  # P(凹陷|坏瓜)
    P5_G = P(5, "好瓜")  # P(硬滑|好瓜)
    P5_B = P(5, "坏瓜")  # P(硬滑|坏瓜)
    P6_G = P(6, "好瓜")# P(密度为中高|好瓜)
    P6_B = P(6, "坏瓜")# P(密度为中高|坏瓜)
    P7_G = P(7, "好瓜")# P(含糖量为高|好瓜)
    P7_B = P(7, "坏瓜")# P(含糖量为高|坏瓜)

    # 计算后验概率
    isGood = P_G * P0_G * P1_G * P2_G * P3_G * P4_G * P5_G * P6_G * P7_G
    isBad = P_B * P0_B * P1_B * P2_B * P3_B * P4_B * P5_B * P6_B * P7_B

    return isGood, isBad

#运行测试
isGood, isBad = bayes()
print(f"好瓜后验概率 P(好瓜|x) = {isGood:.6f}")
print(f"坏瓜后验概率 P(坏瓜|x) = {isBad:.6f}")
print("\n预测结果：", "好瓜" if isGood > isBad else "坏瓜")

运行结果：
在这里插入图片描述

这里的好瓜坏瓜的概率均为0，原因是测试集中含糖率为高这一特征，在训练集中没有出现过，因此概率为0，导致后验概率也为0,从而造成预测结果不准确。所以我们要引入拉普拉斯平滑修正。

4. 改进与拓展

4.1 拉普拉斯平滑

在朴素贝叶斯中，如果某个特征值在某类下从未出现，则该类别的后验概率将变为0，从而完全被排除。为避免此类零概率问题，可以引入拉普拉斯平滑：

平滑公式：
在这里插入图片描述
其中：

  • N i k N_{ik} Nik​：类别 C k C_k Ck​ 下特征 x i x_i xi​ 出现的次数

  • N k N_k Nk​：类别 C k C_k Ck​ 的样本总数

  • V V V：该特征可能的取值个数

条件概率使用拉普拉斯平滑修正：（只需要修改计算先验概率与条件概率的函数）

# 进行拉普拉斯修正
def prior():
    dataSet = loadDataSet()[0]
    countG = (dataSet['好坏'] == "好瓜").sum()
    countB = (dataSet['好坏'] == "坏瓜").sum()
    total = len(dataSet)
    N_classes = 2  # 类别总数（好瓜和坏瓜）
    # 拉普拉斯修正后的先验概率
    P_G = (countG + 1) / (total + N_classes)
    P_B = (countB + 1) / (total + N_classes)
    return P_G,P_B
    
#计算离散属性的条件概率P(xi|c)
def P(index, cla):
    dataSet, testSet, labels = loadDataSet()  # 载入数据集
    label = labels[index]

    count_class = sum(1 for _, row in dataSet.iterrows() if row['好坏'] == cla)
    attr_values = dataSet[label].unique()
    num_values = len(attr_values)  # 该属性取值种类数

    match_count = sum(
        1 for _, row in dataSet.iterrows()
        if row['好坏'] == cla and row[label] == testSet[index]
    )

    # 拉普拉斯修正
    prob = (match_count + 1) / (count_class + num_values)
    return prob

计算结果：
在这里插入图片描述

在这里插入图片描述
运行结果：
在这里插入图片描述
完整代码：

import pandas as pd

# 加载数据并进行离散化处理
def loadDataSet():
    data = pd.DataFrame([
        ['乌黑', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', 0.774, 0.376, '好瓜'],
        ['乌黑', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.634, 0.264, '好瓜'],
        ['青绿', '蜷缩', '沉闷', '清晰', '凹陷', '硬滑', 0.608, 0.318, '好瓜'],
        ['浅白', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.556, 0.215, '好瓜'],
        ['青绿', '稍蜷', '浊响', '清晰', '稍凹', '软粘', 0.403, 0.237, '好瓜'],
        ['乌黑', '稍蜷', '浊响', '稍糊', '稍凹', '软粘', 0.481, 0.149, '好瓜'],
        ['乌黑', '稍蜷', '浊响', '清晰', '稍凹', '硬滑', 0.437, 0.211, '好瓜'],
        ['乌黑', '稍蜷', '沉闷', '稍糊', '稍凹', '硬滑', 0.666, 0.091, '坏瓜'],
        ['青绿', '硬挺', '清脆', '清晰', '平坦', '软粘', 0.243, 0.267, '坏瓜'],
        ['浅白', '硬挺', '清脆', '模糊', '平坦', '硬滑', 0.245, 0.057, '坏瓜'],
        ['浅白', '蜷缩', '浊响', '模糊', '平坦', '软粘', 0.343, 0.099, '坏瓜'],
        ['青绿', '稍蜷', '浊响', '稍糊', '凹陷', '硬滑', 0.639, 0.161, '坏瓜'],
        ['浅白', '稍蜷', '沉闷', '稍糊', '凹陷', '硬滑', 0.657, 0.198, '坏瓜'],
        ['乌黑', '稍蜷', '浊响', '清晰', '稍凹', '软粘', 0.360, 0.370, '坏瓜'],
        ['浅白', '蜷缩', '浊响', '模糊', '平坦', '硬滑', 0.593, 0.042, '坏瓜'],
        ['青绿', '蜷缩', '沉闷', '稍糊', '稍凹', '硬滑', 0.719, 0.103, '坏瓜']
    ], columns=['色泽', '根蒂', '敲声', '纹理', '脐部', '触感', '密度', '含糖率', '好坏'])

    # 连续特征离散化
    data['密度'] = pd.cut(data['密度'], bins=[0, 0.4, 0.6, 0.8, 1], labels=['低', '中低', '中高', '高'])
    data['含糖率'] = pd.cut(data['含糖率'], bins=[0, 0.1, 0.25, 0.4, 0.5], labels=['低', '中低', '中高', '高'])

    testSet = ['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', '中高', '高']
    labels = ['色泽', '根蒂', '敲声', '纹理', '脐部', '触感', '密度', '含糖率']
    return data, testSet, labels


# 进行拉普拉斯修正
def prior():
    dataSet = loadDataSet()[0]
    countG = (dataSet['好坏'] == "好瓜").sum()
    countB = (dataSet['好坏'] == "坏瓜").sum()
    total = len(dataSet)
    N_classes = 2  # 类别总数（好瓜和坏瓜）
    # 拉普拉斯修正后的先验概率
    P_G = (countG + 1) / (total + N_classes)
    P_B = (countB + 1) / (total + N_classes)
    return P_G,P_B

# 测试
data, testSet, labels = loadDataSet()
P_G, P_B = prior()
print(f"好瓜的先验概率 P(好瓜) = {P_G:}")
print(f"坏瓜的先验概率 P(坏瓜) = {P_B:}")

#计算离散属性的条件概率P(xi|c)
def P(index, cla):
    dataSet, testSet, labels = loadDataSet()  # 载入数据集
    label = labels[index]

    count_class = sum(1 for _, row in dataSet.iterrows() if row['好坏'] == cla)
    attr_values = dataSet[label].unique()
    num_values = len(attr_values)  # 该属性取值种类数

    match_count = sum(
        1 for _, row in dataSet.iterrows()
        if row['好坏'] == cla and row[label] == testSet[index]
    )

    # 拉普拉斯修正
    prob = (match_count + 1) / (count_class + num_values)
    return prob

# 测试
data, testSet, labels = loadDataSet()
print("好瓜类条件概率：")
for i in range(len(labels)):
    print(f"P({labels[i]}={testSet[i]} | 好瓜) =", P(i, "好瓜"))

print("\n坏瓜类条件概率：")
for i in range(len(labels)):
    print(f"P({labels[i]}={testSet[i]} | 坏瓜) =", P(i, "坏瓜"))

# 预测后验概率P(c|xi)
def bayes():
    # 计算类先验概率
    P_G, P_B = prior()
    # 计算条件概率
    P0_G = P(0, "好瓜")  # P(青绿|好瓜)
    P0_B = P(0, "坏瓜")  # P(青绿|坏瓜)
    P1_G = P(1, "好瓜")  # P(蜷缩|好瓜)
    P1_B = P(1, "坏瓜")  # P(蜷缩|坏瓜)
    P2_G = P(2, "好瓜")  # P(浊响|好瓜)
    P2_B = P(2, "坏瓜")  # P(浊响|坏瓜)
    P3_G = P(3, "好瓜")  # P(清晰|好瓜)
    P3_B = P(3, "坏瓜")  # P(清晰|坏瓜)
    P4_G = P(4, "好瓜")  # P(凹陷|好瓜)
    P4_B = P(4, "坏瓜")  # P(凹陷|坏瓜)
    P5_G = P(5, "好瓜")  # P(硬滑|好瓜)
    P5_B = P(5, "坏瓜")  # P(硬滑|坏瓜)
    P6_G = P(6, "好瓜")# P(密度为中高|好瓜)
    P6_B = P(6, "坏瓜")# P(密度为中高|坏瓜)
    P7_G = P(7, "好瓜")# P(含糖量为高|好瓜)
    P7_B = P(7, "坏瓜")# P(含糖量为高|坏瓜)

    # 计算后验概率
    isGood = P_G * P0_G * P1_G * P2_G * P3_G * P4_G * P5_G * P6_G * P7_G
    isBad = P_B * P0_B * P1_B * P2_B * P3_B * P4_B * P5_B * P6_B * P7_B

    return isGood, isBad
    
#运行测试
isGood, isBad = bayes()
print(f"好瓜后验概率 P(好瓜|x) = {isGood:.6f}")
print(f"坏瓜后验概率 P(坏瓜|x) = {isBad:.6f}")
print("\n预测结果：", "好瓜" if isGood > isBad else "坏瓜")

4.2 支持连续特征的高斯朴素贝叶斯

若不进行离散化，也可采用高斯分布估计来建模密度与含糖率：
在这里插入图片描述
其中 μ \mu μ 和 σ \sigma σ 是类别 C k C_k Ck​ 下特征 x i x_i xi​ 的均值和标准差。

5. 实验小结

通过本次实验，我深入学习并实现了朴素贝叶斯分类算法，结合了高斯分布处理连续特征与拉普拉斯平滑处理离散特征的策略，对西瓜数据集进行了有效建模与分类预测。
在实际操作过程中，我体会到理论与实践结合的重要性。例如，书本上提到高斯朴素贝叶斯适用于处理连续型变量，在实验中，我亲手计算了不同类别下密度和含糖率的均值与方差，并带入公式计算后验概率，切身体会到了概率模型的直观与高效。
此外，拉普拉斯平滑虽然是一个简单的技巧，却在样本量较小时发挥了关键作用，避免了条件概率为0而导致整个预测失效的问题，让我意识到算法中“细节决定成败”的道理。

riri1919
关注
机器学习-01 绪论
一个小白
10-30 319
1.1 机器学习的定义 正如我们根据过去的经验来判断明天的天气，吃货们希望从购买经验中挑选一个好瓜，那能不能让计算机帮助人类来实现这个呢？机器学习正是这样的一门学科，人的“经验”对应计算机中的“数据”，让计算机来学习这些经验数据，生成一个算法模型，在面对新的情况中，计算机便能作出有效的判断，这便是机器学习。 另一本经典教材的作者Mitchell给出了一个形式化的定义，假设： P：计算机程序在某任务类T上的性能。 T：计算机程序希望实现的任务类。 E：表示经验，即历史的数据集。 若该计算机程序通过利
机器学习入门（西瓜书笔记）
suuunnnyoy的博客
10-19 1739
机器学习入门基础概念 1.机器学习是干什么的？ 2.基本术语
【机器学习】西瓜分类--贝叶斯（实现代码）
yy_xzz的博客
07-03 2008
实现代码： import math import random cla_all_num = 0 cla_num = {} cla_tag_num = {} landa = 0.6 # 拉普拉斯修正值 def train(taglist, cla): # 训练，每次插入一条数据 # 插入分类 global cla_all_num cla_all_num += 1 if cla in cla_num: # 是否已存在该分类 cla_num[cla] +
早期大一数专生零基础硬啃机器学习（西瓜+南瓜）珍贵记录day1
最新发布
2403_89032275的博客
03-12 1311
好多概念😵，公式基本都没学过
机器学习西瓜书学习——绪论
m0_52127362的博客
06-14 229
机器学习西瓜书，绪论
机器学习之西瓜书绪论--关于机器学习的简单介绍
qq_62904883的博客
10-11 678
简单介绍一下机器学习的作用,以及为什么要有归纳偏好
朴素贝叶斯分类器算法
11-13
朴素贝叶斯分类器是一种基于概率的机器学习算法，它基于贝叶斯定理和特征条件独立假设。在"朴素贝叶斯分类器算法"中，我们主要关注以下几个知识点： 1. **贝叶斯定理**：贝叶斯定理是统计学中的一个重要概念，用于...
机器学习西瓜分类贝叶斯算法实例详解
10-17
机器学习-贝叶斯-西瓜分类 对代码的每一行进行了注解，适合初学者使用，主要代码来源是百度ai社区，只是对其进行了注解
机器学习-朴素贝叶斯分类算法（java，判断西瓜好坏案例）
qq_35210105的博客
12-25 6755
概率论和高中数学都学习过贝叶斯公式来计算条件概率，A发生下B发送的概率这种题，比较熟悉。朴素贝叶斯分类算法或许和这个有点关系吧… 原文链接 1、贝叶斯原理 “逆向概率”：相对“正向概率”而言，正向概率就像是一个袋子各种颜色球然后摸求概率这种问题，上帝视角解决问题。而大多数我们需要解决的问题确不能在上帝视角解决的。于是贝叶斯提出这样一个问题：不知道袋中白球和黑球的个数，而是通过摸出球的颜色来判断带中白球和黑球个数的比例 贝叶斯公式 P(A|B) = (P(B|A) * P(A))/ P(B) 2、朴素贝叶.
基于朴素贝叶斯分类器的西瓜数据集 2.0 预测分类_机器学习之朴素贝叶斯
weixin_39678163的博客
11-24 1567
1.贝叶斯原理朴素贝叶斯分类(Naive Bayesian，NB)源于贝叶斯理论，是一类基于概率的分类器，其基本思想：假设样本属性之间相互独立，对于给定的待分类项，求解在此项出现的情况下其他各个类别出现的概率。朴素贝叶斯分类实现的三阶段：第一阶段，准备工作。根据具体情况确定特征属性，并对每一特征属性进行划分，然后人工对一些待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特...
机器学习__朴素贝叶斯分类器.pptx
01-14
在机器学习领域，朴素贝叶斯分类器因其简单、高效且易于实现而被广泛应用。它主要依赖于两个关键假设：一是贝叶斯定理，二是属性条件独立假设。 贝叶斯定理描述了在已知先验概率的情况下，如何通过观测到的证据来...
机器学习西瓜书笔记(一)
weixin_42329812的博客
07-14 869
尽管最初设计时并未刻意模仿人脑的生理结构，但后来的神经科学研究发现，SDM中的稀疏编码机制在人脑的视觉、听觉、嗅觉等脑皮层功能中广泛存在。而训练样本集则是对样本空间进行独立采样后获得的子集，一般情况下，训练样本越多，得到的关于该分布的信息就越多，这样就越有可能找到这个函数，也就越有可能通过学习获得具有强泛化能力的模型。深度学习的突破：近年来，深度学习作为机器学习的一个重要分支，取得了巨大的成功。尽管在早期由于计算能力的限制，神经网络的研究进展缓慢，但随着计算能力的提高，神经网络再次成为研究的热点。
《机器学习》西瓜皮1
weixin_40809340的博客
06-27 479
啊，开始读西瓜皮了，开心啊……啊……
买西瓜跟机器学习
Lenskit
04-23 1293
开坑，记录机器学习和自然语言处理阅读的内容。
【机器学习】吃瓜教程 | 西瓜书 + 南瓜书 （1）
湫喃
07-22 752
机器学习，深度学习，西瓜书，南瓜书，第一章绪论，第二章模型评估与选择，周志华。
机器学习西瓜是——模型评估与选择
m0_52127362的博客
06-14 426
机器学习西瓜书-模型评估与选择
机器学习入门-西瓜书总结笔记
weixin_45867990的博客
03-23 5430
西瓜书第一章-绪论First step引言+基本术语假设空间归纳偏好发展历程与应用现状 First step 对于西瓜书内容做总结笔记，以下都是个人总结，如果有错误欢迎指证。 引言+基本术语 “模型” （model） 从数据中产生 “学习算法”（learning alogrithm） 从数据中产生模型的算法 ”数据集“（data set) 示例（instance）或样例（sample） 的集合 “属性”（atrribute） 或 "特征”（feature） 反映事件或对象在某方面的表现或性质的事项 “属
周志华机器学习西瓜书学习笔记（一）| 第一章 绪论
2201_75859438的博客
08-27 1335
注：Mitchell在1997年给出了一个更形式化的定义：假设用P评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，我们则说关于T和P，该程序对E进行了学习。如果没有偏好，学习算法产生的模型每次在进行预测时随机抽选训练集上的等效假设，那么对新示例学得模型时而告诉我们它是好的、时而告诉我们它是不好的，这样的学习结果显然没有意义。的过程，搜索目标是找到与训练集“匹配”(fit)的假设，即能够将训练集中的对象判断正确的假设。要谈论算法的相对优劣，必须要针对具体的学习问题。
入门机器学习（西瓜书+南瓜书）模型选择与评估总结（python代码实现）
qq_26274961的博客
03-15 5941
机器学习（西瓜书+南瓜书）第一、二章总结（python代码实现）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值