机器学习之朴素贝叶斯

MakotoXavier

于 2024-05-13 22:08:12 发布

阅读量600

点赞数 27

文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/MakotoXavier/article/details/138355681

版权

一、朴素贝叶斯的介绍

朴素贝叶斯（Naive Bayes）是一种基于贝叶斯定理与特征条件独立假设的分类方法。在机器学习和自然语言处理等领域，朴素贝叶斯被广泛用于分类问题，如文本分类、垃圾邮件过滤等。它的核心思想是通过已知的训练数据集中的类别概率和特征概率，来预测新样本的类别。

二、朴素贝叶斯的核心思想

朴素贝叶斯分类器的核心思想主要基于以下两点：

1.贝叶斯定理

朴素贝叶斯分类器使用贝叶斯定理来计算一个样本属于某个类别的概率。给定一个待分类的样本（由一系列特征组成），该分类器计算这个样本属于每个可能类别的后验概率，然后选择后验概率最大的类别作为该样本的预测类别。

先介绍以下概念：

先验概率（Prior Probability）：
先验概率是指在观察到任何数据或进行任何实验之前，我们对某个事件或参数所持有的信念或估计。它通常基于历史数据、经验或其他信息。在贝叶斯统计推断中，先验概率分布是在考虑一些因素之前表达对这一数量的置信程度的概率分布。
后验概率（Posterior Probability）：
后验概率是在观察到新的数据或进行新的实验之后，我们对某个事件或参数所持有的新的信念或估计。后验概率的计算要以先验概率为基础，并结合新的观测数据。在贝叶斯统计推断中，后验概率分布是通过贝叶斯定理，结合先验概率分布和新的观测数据计算得出的。后验概率是在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的"果"。
条件概率（Conditional Probability）：
条件概率是指一个事件在另一个事件已经发生的情况下的发生概率。在贝叶斯定理中，条件概率用于描述在已知某个事件B发生的条件下，另一个事件A发生的概率。条件概率表示为P(A|B)，读作“在B的条件下A的概率”。

由条件概率推导出的贝叶斯公式： $P(B|A)=\frac{P(A|B)P(B)}{P(A)}$

其中：
P(B|A) 是后验概率，即在事件A发生的条件下事件B发生的概率。
P(A|B) 是条件概率，描述了在事件B发生的条件下事件A发生的概率。
P(B) 是先验概率，即在观察到数据之前对事件B的信念或估计。

2.特征条件独立假设

朴素贝叶斯分类器假设输入特征之间是相互独立的，即一个特征的出现与另一个特征的出现是无关的。这意味着给定类别的概率可以由其各个特征的概率简单相乘来估计，而不必考虑它们之间的相互作用。这个假设大大简化了计算，使得朴素贝叶斯分类器在实际应用中非常高效。

朴素贝叶斯公式： $P(y|x1,x2,...,xn)=\frac{P(x1|y)*P(x2|y)*...*P(xn|y)*P(y)}{P(x1,x2,...xn)}$

三、朴素贝叶斯的优缺点

优点

简单高效：朴素贝叶斯模型基于简单的概率计算，因此在训练和分类过程中都相对高效，适合处理大规模数据集。
易于实现：该模型的实现相对简单，不需要复杂的参数调整或优化过程，使得其在实际应用中易于部署和使用。
对缺失数据不敏感：朴素贝叶斯模型在计算概率时，可以对缺失的特征值进行忽略或采用平滑技术处理，因此对缺失数据不敏感。
在某些情况下表现良好：尽管特征条件独立假设在实际情况中往往不成立，但在许多应用中，如文本分类、垃圾邮件过滤等，朴素贝叶斯模型仍然能够取得很好的效果。

缺点

特征条件独立假设的限制：朴素贝叶斯模型假设所有特征之间是相互独立的，这在实际应用中往往不成立。当特征之间存在相关性时，模型的分类性能可能会受到影响。
对输入数据的表达形式敏感：朴素贝叶斯模型对输入数据的表达形式较为敏感。如果输入数据的特征表示不符合模型的假设或存在冗余特征，模型的分类性能可能会下降。
对参数估计的敏感性：朴素贝叶斯模型在训练过程中需要估计类别概率和特征概率，这些概率的估计值对模型的分类性能有直接影响。如果训练数据不充分或存在偏差，可能会导致概率估计不准确，进而影响模型的分类性能。

四、朴素贝叶斯的工作流程

数据准备：
- 收集数据集，数据集包含特征（或属性）和目标变量（或类别）。
- 对数据进行预处理，如处理缺失值、文本数据向量化、数值数据标准化或归一化等。
计算先验概率：
- 根据训练数据集，计算每个类别的先验概率，即该类别在数据集中出现的频率。
计算条件概率：
- 对于每个类别和每个特征，计算该特征在每个类别下的条件概率。这通常是通过统计每个类别中该特征的出现频率来完成的。
应用朴素贝叶斯假设：
- 朴素贝叶斯分类器假设在给定目标变量（类别）的条件下，各个特征之间是相互独立的。这意味着某个特征的出现不会影响其他特征的出现概率。
构建分类器：
- 使用贝叶斯定理和前面计算的先验概率、条件概率，为每个类别构建后验概率的模型。
分类：
- 对于新的待分类样本，根据朴素贝叶斯分类器计算该样本属于每个类别的后验概率。
- 将待分类样本划分到后验概率最大的类别中。
评估模型：
- 使用验证集或测试集评估分类器的性能，常用的评估指标包括准确率、召回率、F1分数等。
优化和调整：
- 根据评估结果对模型进行优化，如调整特征选择、处理过拟合或欠拟合等问题。

五、实例

1.数据准备：

	天气	温度	湿度	风速	户外跑步
1	晴天	高	低	慢	是
2	阴天	高	中	中	否
3	晴天	中	低	快	是
4	阴天	低	高	慢	否
5	雨天	中	中	中	否
6	晴天	高	中	快	是
7	阴天	低	低	慢	是
8	雨天	低	高	快	否
9	晴天	中	高	中	否
10	雨天	中	低	慢	是

测试样本为（天气：晴天，温度：中，湿度：中，风速：中）

data = pd.DataFrame({  
    '天气': ['晴天', '阴天', '晴天', '阴天', '雨天', '晴天', '阴天', '雨天', '晴天', '雨天'],  
    '温度': ['高', '高', '中', '低', '中', '高', '低', '低', '中', '中'],  
    '湿度': ['低', '中', '低', '高', '中', '中', '低', '高', '高', '低'],  
    '风速': ['慢', '中', '快', '慢', '中', '快', '慢', '快', '中', '慢'],  
    '户外跑步': ['是', '否', '是', '否', '否', '是', '是', '否', '否', '是']  
})  
# 测试集数据  
test_data = {'天气': '晴天', '温度': '中', '湿度': '中', '风速': '中'}

2.计算先验概率：

# 计算先验概率 P(C_k)  
prior_probs = data['户外跑步'].value_counts() / len(data)  
print('先验概率：', prior_probs.to_string(index=False))

结果：

先验概率： 户外跑步
0.5
0.5

3.计算条件概率：

# 计算条件概率 P(x_i|C_k)  
cond_probs = defaultdict(lambda: defaultdict(lambda: defaultdict(float)))  

  
# 累加计数  
for index, row in data.iterrows():  
    weather, temp, humidity, wind, running = row  
    cond_probs['天气'][weather][running] += 1  
    cond_probs['温度'][temp][running] += 1  
    cond_probs['湿度'][humidity][running] += 1  
    cond_probs['风速'][wind][running] += 1  
  
# 标准化条件概率  
for feature in cond_probs:  
    for value in cond_probs[feature]:  
        total_count = sum(cond_probs[feature][value].values())  
        for running in cond_probs[feature][value]:  
            cond_probs[feature][value][running] /= total_count  
  
# 打印条件概率  
for feature in cond_probs:  
    print(f"特征: {feature}")  
    for feature_value in cond_probs[feature]:  
        print(f"  值: {feature_value}")  
        for running in ['是', '否']:  
            print(f"    P({feature_value}|{running}): {cond_probs[feature][feature_value][running]:.4f}")  
        print()

结果：

特征: 天气
  值: 晴天
    P(晴天|是): 0.7500
    P(晴天|否): 0.2500

  值: 阴天
    P(阴天|是): 0.3333
    P(阴天|否): 0.6667

  值: 雨天
    P(雨天|是): 0.3333
    P(雨天|否): 0.6667

特征: 温度
  值: 高
    P(高|是): 0.6667
    P(高|否): 0.3333

  值: 中
    P(中|是): 0.5000
    P(中|否): 0.5000

  值: 低
    P(低|是): 0.3333
    P(低|否): 0.6667

特征: 湿度
  值: 低
    P(低|是): 1.0000
    P(低|否): 0.0000

  值: 中
    P(中|是): 0.3333
    P(中|否): 0.6667

  值: 高
    P(高|是): 0.0000
    P(高|否): 1.0000

特征: 风速
  值: 慢
    P(慢|是): 0.7500
    P(慢|否): 0.2500

  值: 中
    P(中|是): 0.0000
    P(中|否): 1.0000

  值: 快
    P(快|是): 0.6667
    P(快|否): 0.3333

4.计算后验概率：

# 计算后验概率 
posterior_probs = {'是': 1.0, '否': 1.0}  # 初始化后验概率为1（后续会乘以先验概率和条件概率）  
  
for feature, value in test_data.items():  
    for running in ['是', '否']:  
        posterior_probs[running] *= prior_probs[running] * cond_probs[feature][value][running]  
  
# 归一化后验概率  
total_posterior = sum(posterior_probs.values())  
for running in posterior_probs:  
    posterior_probs[running] /= total_posterior  
  
# 预测最可能的类别  
predicted_class = max(posterior_probs, key=posterior_probs.get)  
  
print("后验概率:")  
print("P(户外跑步=是|天气=晴天, 温度=中, 湿度=中, 风速=中) =", posterior_probs['是'])  
print("P(户外跑步=否|天气=晴天, 温度=中, 湿度=中, 风速=中) =", posterior_probs['否'])

结果：

后验概率:
P(户外跑步=是|天气=晴天, 温度=中, 湿度=中, 风速=中) = 0.0
P(户外跑步=否|天气=晴天, 温度=中, 湿度=中, 风速=中) = 1.0

5.预测结果分析：

P（否）>P（是）

所以预测结果应为否

print("\n预测结果:", predicted_class)

预测结果: 否

六、总结

通过本次实验我了解了朴素贝叶斯算法的实际运用，朴素贝叶斯算法是一种基于贝叶斯定理和特征条件独立假设的分类方法。它假设样本的各个特征在给定类别下是相互独立的，从而简化计算。算法通过计算样本属于每个类别的后验概率，选择概率最大的类别作为预测结果。朴素贝叶斯算法简单高效，常用于文本分类、垃圾邮件识别等领域。