带你彻彻底底搞懂朴素贝叶斯公式

最新推荐文章于 2024-03-15 14:01:01 发布
最新推荐文章于 2024-03-15 14:01:01 发布
阅读量9.6w 收藏 573
点赞数 128
分类专栏： 机器学习 机器学习 文章标签： 朴素贝叶斯
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fisherming/article/details/79509025
版权

本文参考了该博客的实例，但该博客中的朴素贝叶斯公式计算错误，评论中的也不对，所以，重新写一篇。

一. 朴素贝叶斯

      朴素贝叶斯中的朴素一词的来源就是假设各特征之间相互独立。这一假设使得朴素贝叶斯算法变得简单，但有时会牺牲一定的分类准确率。

    首先给出贝叶斯公式：
    换成分类任务的表达式：
     我们最终求的p(类别|特征)即可！就相当于完成了我们的任务。
     则，朴素贝特斯公式为：
二. 实例解析

首先，给出数据如下:


现在给我们的问题是，如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

这是典型的二分类问题，按照朴素贝叶斯的求解，转换为P(嫁|不帅、性格不好、矮、不上进)和P(不嫁|不帅、性格不好、矮、不上进)的概率，最终选择嫁与不嫁的答案。

这里我们根据贝特斯公式:

由此，我们将(嫁|不帅、性格不好、矮、不上进)转换成三个可求的P(嫁)、P(不帅、性格不好、矮、不上进|嫁)、P(不帅、性格不好、矮、不上进)。进一步分解可以得:
P(不帅、性格不好、矮、不上进)=P(嫁)P(不帅|嫁)P(性格不好|嫁)P(矮|嫁)P(不上进|嫁)+P(不嫁)P(不帅|不嫁)P(性格不好|不嫁)P(矮|不嫁)P(不上进|不嫁)。

P(不帅、性格不好、矮、不上进|嫁)=P(不帅|嫁)P(性格不好|嫁)P(矮|嫁)P(不上进|嫁)

将上面的公式整理一下可得:


 P(嫁)=1/2、P(不帅|嫁)=1/2、P(性格不好|嫁)=1/6、P(矮|嫁)=1/6、P(不上进|嫁)=1/6。
 P(不嫁)=1/2、P(不帅|不嫁)=1/3、P(性格不好|不嫁)=1/2、P(矮|不嫁)=1、P(不上进|不嫁)=2/3
 但是由贝叶斯公式可得:对于目标求解为不同的类别，贝叶斯公式的分母总是相同的。所以，只求解分子即可：
于是，对于类别“嫁”的贝叶斯分子为：P(嫁)P(不帅|嫁)P(性格不好|嫁)P(矮|嫁)P(不上进|嫁)=1/2 * 1/2 * 1/6 * 1/6 * 1/6=1/864     
对于类别“不嫁”的贝叶斯分子为:P(不嫁)P(不帅|不嫁)P(性格不好|不嫁)P(矮|不嫁)P(不上进|不嫁)=1/2 * 1/3 * 1/2 * 1* 2/3=1/18。
经代入贝叶斯公式可得：P(嫁|不帅、性格不好、矮、不上进)=(1/864) / (1/864+1/18)=1/49=2.04%
P(不嫁|不帅、性格不好、矮、不上进)=(1/18) / (1/864+1/18)=48/49=97.96%
则P(不嫁|不帅、性格不好、矮、不上进) > P(嫁|不帅、性格不好、矮、不上进)，则该女子选择不嫁！

三. 朴素贝叶斯的优缺点

优点：
  (1） 算法逻辑简单,易于实现（算法思路很简单，只要使用贝叶斯公式转化即可！）
（2）分类过程中时空开销小（假设特征相互独立，只会涉及到二维存储）
缺点：
      朴素贝叶斯假设属性之间相互独立，这种假设在实际过程中往往是不成立的。在属性之间相关性越大，分类误差也就越大。

四. 朴素贝叶斯实战

    sklearn中有3种不同类型的朴素贝叶斯：

  • 高斯分布型：用于classification问题，假定属性/特征服从正态分布的。
  • 多项式型：用于离散值模型里。比如文本分类问题里面我们提到过，我们不光看词语是否在文本中出现，也得看出现次数。如果总词数为n，出现词数为m的话，有点像掷骰子n次出现m次这个词的场景。
  • 伯努利型：最后得到的特征只有0(没出现)和1(出现过)。
  4.1  我们使用iris数据集进行分类 
from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import cross_val_score
from sklearn import datasets
iris = datasets.load_iris()
gnb = GaussianNB()
scores=cross_val_score(gnb, iris.data, iris.target, cv=10)
print("Accuracy:%.3f"%scores.mean())
     输出: Accuracy:0.953
 

  4.2 Kaggle比赛之“旧金山犯罪分类预测”

       题目数据：第一种获取方式：Kaggle网站上；第二种获取方式：百度网盘

        题目背景：『水深火热』的大米国，在旧金山这个地方，一度犯罪率还挺高的，然后很多人都经历过大到暴力案件，小到东西被偷，车被划的事情。当地警方也是努力地去总结和想办法降低犯罪率，一个挑战是在给出犯罪的地点和时间的之后，要第一时间确定这可能是一个什么样的犯罪类型，以确定警力等等。后来干脆一不做二不休，直接把12年内旧金山城内的犯罪报告都丢带Kaggle上，说『大家折腾折腾吧，看看谁能帮忙第一时间预测一下犯罪类型』。犯罪报告里面包括日期，描述，星期几，所属警区，处理结果，地址，GPS定位等信息。当然，分类问题有很多分类器可以选择，我们既然刚讲过朴素贝叶斯，刚好就拿来练练手好了。

     (1) 首先我们来看一下数据

import pandas as pd  
import numpy as np  
from sklearn import preprocessing  
from sklearn.metrics import log_loss  
from sklearn.cross_validation import train_test_split
train = pd.read_csv('/Users/liuming/projects/Python/ML数据/Kaggle旧金山犯罪类型分类/train.csv', parse_dates = ['Dates'])  
test = pd.read_csv('/Users/liuming/projects/Python/ML数据/Kaggle旧金山犯罪类型分类/test.csv', parse_dates = ['Dates'])  
train  

 我们依次解释一下每一列的含义：

  • Date: 日期
  • Category: 犯罪类型，比如 Larceny/盗窃罪 等.
  • Descript: 对于犯罪更详细的描述
  • DayOfWeek: 星期几
  • PdDistrict: 所属警区
  • Resolution: 处理结果，比如说『逮捕』『逃了』
  • Address: 发生街区位置
  • X and Y: GPS坐标

        train.csv中的数据时间跨度为12年，包含了将近90w的记录。另外，这部分数据，大家从上图上也可以看出来，大部分都是『类别』型，比如犯罪类型，比如星期几。

    （2）特征预处理

       sklearn.preprocessing模块中的 LabelEncoder函数可以对类别做编号，我们用它对犯罪类型做编号；pandas中的get_dummies( )可以将变量进行二值化01向量，我们用它对”街区“、”星期几“、”时间点“进行因子化。

#对犯罪类别:Category; 用LabelEncoder进行编号  
leCrime = preprocessing.LabelEncoder()  
crime = leCrime.fit_transform(train.Category)   #39种犯罪类型  
#用get_dummies因子化星期几、街区、小时等特征  
days=pd.get_dummies(train.DayOfWeek)  
district = pd.get_dummies(train.PdDistrict)  
hour = train.Dates.dt.hour  
hour = pd.get_dummies(hour)  
#组合特征  
trainData = pd.concat([hour, days, district], axis = 1)  #将特征进行横向组合  
trainData['crime'] = crime   #追加'crime'列  
days = pd.get_dummies(test.DayOfWeek)  
district = pd.get_dummies(test.PdDistrict)  
hour = test.Dates.dt.hour  
hour = pd.get_dummies(hour)  
testData = pd.concat([hour, days, district], axis=1)  
trainData 

    特征预处理后，训练集feature，如下图所示：

   (3) 建模

from sklearn.naive_bayes import BernoulliNB
import time
features=['Monday', 'Tuesday', 'Wednesday', 'Thursday', 'Friday', 'Saturday', 'Sunday', 'BAYVIEW', 'CENTRAL', 'INGLESIDE', 'MISSION',  
 'NORTHERN', 'PARK', 'RICHMOND', 'SOUTHERN', 'TARAVAL', 'TENDERLOIN']  
X_train, X_test, y_train, y_test = train_test_split(trainData[features], trainData['crime'], train_size=0.6)  
NB = BernoulliNB()  
nbStart = time.time()  
NB.fit(X_train, y_train)  
nbCostTime = time.time() - nbStart  
#print(X_test.shape)  
propa = NB.predict_proba(X_test)   #X_test为263415*17； 那么该行就是将263415分到39种犯罪类型中，每个样本被分到每一种的概率  
print("朴素贝叶斯建模%.2f秒"%(nbCostTime))  
predicted = np.array(propa)  
logLoss=log_loss(y_test, predicted)  
print("朴素贝叶斯的log损失为:%.6f"%logLoss)  
输出： 
朴素贝叶斯建模0.55秒
朴素贝叶斯的log损失为:2.582561

baidu-liuming
关注
  • 128
    点赞
  • 踩
  • 573
    收藏
    觉得还不错? 一键收藏
  • 33
    评论
专栏目录
用python朴素贝叶斯实现垃圾邮件分类的数据集
11-06
使用机器学习算法 用python朴素贝叶斯实现垃圾邮件分类的数据集
朴素贝叶斯算法
01-07
一、朴素贝叶斯综述 \quad贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单也是最常见的一种。 \quad对于分类问题，其实谁都不陌生，日常生活中我们每天都进行着分类过程，例如，当你看到一个人，你的脑子下意识判断他是学生还是社会上的人；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱”之类的话，其实这就是一种分类操作。 \quad既然是贝叶斯分类算法，那么分类的数学描述又是什么呢？ \quad从数学角度来说，分类问题可做如下定义：已知集合C=y1,y2,…,ynC=y_1,y_2,…,y_nC=y1​,y2​,…,y
概率论与数理统计 第一章 概率论的基本概念
最新发布
2303_77414881的博客
03-15 1051
确定性现象：必然发生或不发生随机现象：个别试验结果呈现不确定性，大量试验结果呈现统计规律性2.概率论与数理统计：​ 该学科是研究和揭示随机现象统计规律性的学科。1.Def：称随机事件A发生的可能性大小的度量（非负值）为事件A发生的概率。1.Def：在相同条件下进行n次试验，在这n次试验中，事件A发生的次数nAn_AnA​，称为事件A发生的频数\color{blue}{频数}频数，比值nAnnnA​​称为事件A发生的频率\color{blue}{频率}频率，并记作f。
贝叶斯.zip_朴素贝叶斯_特征条件独立_贝叶斯_贝叶斯公式_贝叶斯方法
07-15
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法 。最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。
机器学习算法基础——朴素贝叶斯、模型的评估、选择和调优
qq_42873479的博客
09-25 3564
机器学习基础——三朴素贝叶斯 朴素贝叶斯 朴素——特征独立 1.概率知识 联合概率：包含多个条件，且所有条件同时成立。P(A,B)=P(A)P(B) 条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率，记作：P（A|B）。 特性：P（A1，A2|B）= P（A1|B）P（A2|B）（条件A1，A2相互独立）。 2.朴素贝叶斯——贝叶斯公式 P(C∣W)=P(W∣C)P(C)P(W)P(C|W)=\frac{P(W|C)P(C)}{P(W)}P(C∣W)=P(W)P(W∣C)P(C)​ 注：文档分类
朴素贝叶斯分类器
weixin_42232024的博客
11-12 790
目录 1 贝叶斯决策论 1.1 后验概率 1.2 贝叶斯定理 2. 朴素贝叶斯分类算法详解 3.例题分析 4. 朴素贝叶斯分类的优缺点   1 贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策轮考虑如何基于这些概率和误判损失来选择最优的类别标记。 1.1 后验概率...
朴素贝叶斯（Naive Bayes）详解
weixin_60737527的博客
07-15 2万+
贝叶斯决策论、朴素贝叶斯原理与算法实现、具体应用。
朴素贝叶斯(Naive Bayes)
weixin_44992737的博客
10-03 9411
朴素贝叶斯
【朴素贝叶斯】深入浅出讲解朴素贝叶斯算法（公式、原理）
程序星空实验室
06-02 3万+
朴素贝叶斯（Naive Bayes）是一种简单经典的分类算法，它的经典应用案例为人所熟知：文本分类（如垃圾邮件过滤）。条件概率：记事件A发生的概率为P(A)，事件B发生的概率为P(B)，则在B事件发生的前提下，A事件发生的概率即为条件概率，记为P(A|B)。
【机器学习】朴素贝叶斯算法
Dong_ZH的博客
02-23 1万+
朴素贝叶斯（Naive Bayes）是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。由于朴素贝叶斯计算联合概率，所以朴素贝叶斯模型属于生成式模型。经典应用案例包括：文本分类、垃圾邮件过滤等。
朴素贝叶斯算法的介绍
Despicable_Me的博客
06-01 6403
朴素贝叶斯算法（Naive Bayes Algorithm）是一种基于贝叶斯定理和特征独立性假设的概率分类算法。它被广泛应用于文本分类、垃圾邮件过滤、情感分析等任务。朴素贝叶斯算法的基本思想是基于训练数据中的特征和标签之间的概率关系，通过计算后验概率来进行分类预测。朴素贝叶斯分类算法alpha：拉普拉斯平滑系数。
C++实现朴素贝叶斯分类器(加强版)
09-14
这个和我以前传的有了一点改动就是把训练模型和预测分为了2个工程了更方便了 里面有readme.txt. 还可以看看我前面上传那个工程的“资源描述”
朴素贝叶斯西瓜数据集
12-01
朴素贝叶斯相关西瓜数据集，用于自然语言处理>01.朴素贝叶斯介绍 中的案例数据，该数据集仅作参考使用
机器学习——朴素贝叶斯算法
Jblhyano的博客
09-14 814
需要注意的是，朴素贝叶斯算法中的上述公式假设特征之间是条件独立的，这是朴素贝叶斯算法的一个简化假设。2. 对输入数据分布的假设：朴素贝叶斯算法假设特征的分布满足条件独立性，但在实际情况中，特征之间的关系可能是复杂的，导致模型的偏差。3. 根据贝叶斯定理的数学表达式，计算在事件B发生的条件下，事件A发生的概率P(A|B)。1.P(A|B) 表示事件B发生的条件下事件A发生的概率，也称为A在B条件下的后验概率。2.P(A ∩ B) 表示事件A和事件B同时发生的概率，也称为A与B的交集的概率。
朴素贝叶斯算法 — 超详细公式讲解+代码实例
热门推荐
小牛肉的博客
08-19 6万+
朴素贝叶斯法是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布（朴素贝叶斯法这种通过学习得到模型的机制，显然属于生成模型）；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出 y。 学习朴素贝叶斯算法之前，我们先搞定下面这些基本概念和数学公式
机器学习入门02-朴素贝叶斯原理和java实现
jameschen9051的博客
06-17 794
朴素贝叶斯是一种基于概率统计的机器学习方法，其原理采用计算样本数据中先验数据与标签数据出现的概率，以先验数据对应最大出现概率的标签作为预测结果。 朴素贝叶斯公式一般记为：P(A|B)=P(A)*P(B|A)/P(B)，即当我们要预测先验条件B出现时A出现的概率时，可以通过条件A出现概率与条件A出现时条件B出现概率的乘积除以条件B的概率。在计算中P(A)*P(B|A)等效于计算条件A与条件B同时出现概率，即P(A∩B)。 也就是说，朴素贝叶斯的训练过程主要就是统计条件概率P(B)和联合概率P(A∩B)，由
【机器学习】 朴素贝叶斯算法：原理、实例应用（文档分类预测）
TwcatL_tree
11-13 1838
为了统计每一篇文章中各个单词出现的次数，哪些分类中哪些单词出现的比较多，从而建立分类模型，同1.4所述。P(娱乐类|影院,云计算) = P(影院,云计算|娱乐类)*P(娱乐类)/P(影院,云计算)，男生都留短发，女生一半留短发，一半留长发。一般采用75%的数据用于训练，25%用于测试，因此把数据进行训练之前，先要对数据划分。，sparse矩阵只会标记word1和word2中不为0的地方，为0的地方不显示，即。事件A在另一个事件B已经发生的前提下发生的概率，记作P(A|B)，如果有多个条件，
机器学习算法系列（六）-- 朴素贝叶斯
三明治的博客
06-03 4175
朴素贝叶斯法是基于概率统计，特征条件独立假设的分类方法，是一种非常常用的机器学习算法；通常用于处理文本分类和情感分析等自然语言处理任务中。相对于其他复杂的模型，朴素贝叶斯算法具有简单、易于实现、高效和良好的准确性等特点
朴素贝叶斯 Naive Bayes Classifier
JasonH2021的博客
05-27 2156
本文主要简单介绍了朴素贝叶斯的基本概念，优缺点，应用场景，建模时的注意事项，模型的评价指标，以及朴素贝叶斯在解决分类任务时的python实现方法和示例等。
周志华机器学习朴素贝叶斯公式c++代码实现
05-31
以下是朴素贝叶斯分类器的伪代码： 1. 训练阶段： （1）对于每个类别 i，计算先验概率P(Y=i)。 （2）对于每个特征 j，计算在每个类别 i 下该特征的条件概率P(Xj=x|Y=i)。 2. 测试阶段： （1）对于输入样本 x，计算该样本属于每个类别 i 的条件概率P(Y=i|X=x)。 （2）将样本分到概率最大的类别中。 下面是朴素贝叶斯分类器的 C++ 代码实现，其中假设特征和类别都是离散的： ``` #include <iostream> #include <vector> #include <map> #include <cmath> using namespace std; // 计算先验概率 map<int, double> cal_prior_prob(vector<int>& labels) { map<int, double> prior_prob; int total = labels.size(); for (int i = 0; i < total; i++) { int label = labels[i]; if (prior_prob.find(label) == prior_prob.end()) { prior_prob[label] = 0.0; } prior_prob[label] += 1.0; } for (auto iter = prior_prob.begin(); iter != prior_prob.end(); iter++) { iter->second /= total; } return prior_prob; } // 计算条件概率 map<int, map<int, double>> cal_cond_prob(vector<vector<int>>& features, vector<int>& labels) { map<int, map<int, double>> cond_prob; int total = labels.size(); int feature_num = features[0].size(); for (int i = 0; i < total; i++) { int label = labels[i]; if (cond_prob.find(label) == cond_prob.end()) { cond_prob[label] = map<int, double>(); } for (int j = 0; j < feature_num; j++) { int feature = features[i][j]; if (cond_prob[label].find(j) == cond_prob[label].end()) { cond_prob[label][j] = map<int, double>(); } if (cond_prob[label][j].find(feature) == cond_prob[label][j].end()) { cond_prob[label][j][feature] = 0.0; } cond_prob[label][j][feature] += 1.0; } } for (auto iter1 = cond_prob.begin(); iter1 != cond_prob.end(); iter1++) { int label = iter1->first; for (auto iter2 = iter1->second.begin(); iter2 != iter1->second.end(); iter2++) { int feature = iter2->first; int feature_total = iter2->second.size(); for (auto iter3 = iter2->second.begin(); iter3 != iter2->second.end(); iter3++) { iter3->second /= feature_total; } } } return cond_prob; } // 预测 int predict(vector<int>& feature, map<int, double>& prior_prob, map<int, map<int, double>>& cond_prob) { int label = -1; double max_prob = -1.0; for (auto iter = prior_prob.begin(); iter != prior_prob.end(); iter++) { int cur_label = iter->first; double cur_prob = log(iter->second); for (int i = 0; i < feature.size(); i++) { cur_prob += log(cond_prob[cur_label][i][feature[i]]); } if (cur_prob > max_prob) { max_prob = cur_prob; label = cur_label; } } return label; } // 测试 void test(vector<vector<int>>& features, vector<int>& labels, map<int, double>& prior_prob, map<int, map<int, double>>& cond_prob) { int total = labels.size(); int correct = 0; for (int i = 0; i < total; i++) { int predict_label = predict(features[i], prior_prob, cond_prob); if (predict_label == labels[i]) { correct++; } } cout << "Accuracy: " << (double)correct / total << endl; } int main() { // 读取数据，features存放特征，labels存放类别 vector<vector<int>> features; vector<int> labels; // 训练 map<int, double> prior_prob = cal_prior_prob(labels); map<int, map<int, double>> cond_prob = cal_cond_prob(features, labels); // 测试 test(features, labels, prior_prob, cond_prob); return 0; } ``` 注意：这里的代码只是朴素贝叶斯分类器的一种实现方式，可能还有其他实现方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 33
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值