朴素贝叶斯

原创 2018年04月16日 19:14:29

朴素贝叶斯是基于贝叶斯定理特征条件独立假设的分类方法,他可以预测样本类隶属度的概率,通过训练集数据进行联合密度计算,然后对待分类的样本进行使用贝叶斯定理求出后验概率最大的类别y。

特征条件独立假设:

朴素贝叶斯分类方法假设每个特征词之间都没有任何影响,特征词之间是相互独立存在的,此假设为条件独立假设,该假设是为了方便计算。

贝叶斯定理:

条件概率:


P(X)是X先验概率,P(Y)是先验概率,P(Y|X)和P(X|Y)都是后验概率。表明了在条件X下发生Y的概率。

当我们要对待分类样本进行分类时,首先将样本转化为特征向量,特征向量如下图所示。该图中表示了样本中有m个特征词。


而在分类问题是一个样本划归的问题,故训练数据集中有多个类别,设数据集中有K个类别,在S_k类别中的条件概率为


上式中利用条件独立假设方法,将样本的概率转换为特征词相乘的概率。由于,朴素贝叶斯方法是找到最大的后验概率分布P(Y=C_k|X=x),将后验概率最大的类作为x的类输出,后验概率根据贝叶斯定理计算,朴素贝叶斯公式如下


将上述2式进行合并,得到


于是,得到了朴素贝叶斯公式。朴素贝叶斯分类器为


由于上式中的分母对所有的类别C_k都相同,故公式简化为


优缺点:

贝叶斯算法可以对文本的分类做出科学性判断,操作简单方便,计算复杂度小,数据缺失对该算法影响不大,适用于大量数据的计算。因为贝叶斯算法是通过最大化后验概率来实现的,所以算法原理易于理解,能够被解释。使用朴素贝叶斯解决文本分类问题必须满足位置独立性以及条件独立性的假设,但是这两个假设在实际中并不成立。

例子


该表中是15个训练数据,X(1)取值为1,2,3;X(2)取值为S,M,L;Y的取值为1或者-1;计算(2,S)的Y值

(1)计算所有类别的概率,即P(Y=C_k)概率


(2)计算所有的条件概率,即P(X=x|C_k)概率


则将计算(2,S)的Y值:


得知1/15最大,所以(2,S)的Y值为-1;

参考文献

https://blog.csdn.net/amds123/article/details/70173402

https://blog.csdn.net/li8zi8fa/article/details/76176597

统计学习方法

基于朴素贝叶斯的文本分类算法研究

深入理解朴素贝叶斯(Naive Bayes)

朴素贝叶斯是经典的机器学习算法之一,也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单,也很容易实现,多用于文本分类,比如垃圾邮件过滤。该算法虽然简单,但是由于笔者不常用,总是看过即忘,这是写这篇...
  • li8zi8fa
  • li8zi8fa
  • 2017-07-27 10:48:51
  • 15156

贝叶斯分类器(一):朴素贝叶斯分类器与半朴素贝叶斯分类器

贝叶斯分类器理论知识。包括贝叶斯决策论,朴素贝叶斯分类器,半朴素贝叶斯分类器。...
  • rongrongyaofeiqi
  • rongrongyaofeiqi
  • 2016-11-09 15:28:03
  • 4006

朴素贝叶斯例题记录

先举个例子(摘自统计学习方法):                                                           极大似然估计求解: 贝叶斯估计求解(λ =...
  • haharen110
  • haharen110
  • 2017-03-14 17:24:32
  • 402

朴素贝叶斯算法的参数的最大似然估计

朴素贝叶斯算法的参数的最大似然估计 设输入向量为。我们假定输入特征是离散的、二值化的变量,即。对每一个训练样例,输出对象是0或者1,即。我们的模型由 参数化。 我们把建模成伯努利...
  • zhulf0804
  • zhulf0804
  • 2016-09-08 19:26:15
  • 3589

朴素贝叶斯的实际应用

关于朴素贝叶斯的来龙去脉公式推导这里不多谈,分享一下在毕业设计中如何将这一算法实际应用到预处理的过程中。 1.应用环境 需求是将爬虫的数据的content部分在预处理的环节中进行分类打上标签,可以考虑...
  • fzu_rookie
  • fzu_rookie
  • 2016-04-19 17:43:49
  • 1362

朴素贝叶斯法(naive bayes)逻辑回归(logistic regression)线性回归

朴素贝叶斯法实际上学习到生成数据的机制,所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的,但是有的时候会失去一些分类准确性。对于给定的输入x,通过学习到的模型计算后验...
  • qq_29258361
  • qq_29258361
  • 2018-03-15 11:48:37
  • 44

K近邻与朴素贝叶斯

任务简述 分类任务 如下图,数据集的X是“英语语句”,Y是该语句对应的“情绪”,情绪的可能取值有6种,任务是给定一个语句,能判断出它属于什么情绪 回归任务 如下图,数据集的X是“英语语句”...
  • qq_30172585
  • qq_30172585
  • 2018-03-13 15:25:32
  • 79

趣味理解朴素贝叶斯

生活中很多场合需要用到分类,比如新闻分类、病人分类等等实际用用场景。为了让大家可以形象的理解,本文从实际的应用入手介绍一种简单的常用分类算法----朴素贝叶斯(Navie Bayes classifi...
  • qq_28168421
  • qq_28168421
  • 2016-12-13 09:05:07
  • 716

机器学习笔记(4)——朴素贝叶斯

Naive Bayes朴素贝叶斯网络是贝叶斯分类器的一种,贝叶斯分类算法是统计学的一种分类方法,利用概率论和统计知识进行分类。其原理是利用贝叶斯公式根据样本的先验概率来计算其后验概率(即样本属于某一类...
  • zx10212029
  • zx10212029
  • 2015-10-22 22:47:35
  • 1097

生成模型,判别模型,以及朴素贝叶斯

首先从监督学习来认识 1.监督学习的主要任务就是学习一个模型,应用这一模型,对给定的输入预测相应的输出。这一模型的一般形式为决策函数:Y=f(X)Y=f(X) 或条件概率分布:P(Y|X)P(Y|...
  • G090909
  • G090909
  • 2015-12-07 18:10:15
  • 1963
收藏助手
不良信息举报
您举报文章:朴素贝叶斯
举报原因:
原因补充:

(最多只允许输入30个字)