基于概率论的分类方法--朴素贝叶斯04

8人阅读 评论(0) 收藏 举报
分类:

首先将朴素贝叶斯引入到分类问题中。

思想

通过某对象的先验概率,利用贝叶斯公式,计算出其后验概率,即该对象属于某一类的概率,选择具有最大后验概率的类作为该对象所属的类。

推导

1、设为一个待分类项xj={​a1,a2,...,am},每个a为xj的一个属性值;

2、设类别集合​c={​y1,y2,...,yn};

3、计算带分类样本xj属于各个类别的后验概率,P(y1|xj),P(y2|xj),...,P(yn|xj);

4、找出第三步骤中求得的最大后验概率值,其所对应的类yk即为该样本点所属类别。​

​求解

       对于推导过程中,第三步的求解过程,利用到贝叶斯公式(右图):

因而,​P(yk|xj)得:

式1

上式中,P(xj|yk)为:

式2

现在假设各个属性间独立,从而得到:

式3 

将式3带入式1,从而得到:

式4

同时,因为分母P(xj)的值对于所有类别yk都是一样,因此在计算的时候可以省略。对于每个P(ai|yk)值,都可以通过训练数据得来,其含义为:属性ai出现在类yk中的概率。P(yk)即为类yk在训练样本中出现的概率。

Q&A

​1. 贝叶斯核心部分,是假设属性间相互独立,从而大大简化了其计算过程,简化的同时,也造成了算法本身的缺陷,现实生活中,往往很多事物不是相互独立的。

2. 贝叶斯有个好处,计算简单,是一种比较快速的分类方法。

代码实现

1. 实现的时候,考虑到数据稀疏的特点,往往在假定在训练样本中,所有属性至少出现一次。

2. 求得的​P(xj|yk)往往比较小,因此往往加入对数后再进行比较logP(xj|yk)。

python实现见​github:https://github.com/xwzhong/classical-machine-learning-algorithm/tree/master/bayesian


例子:

    研究一个问题挂科与喝酒、逛街和学习之间的关系,根据表中的数据计算出,不喝酒、不逛街和学习了,判断是否挂科?(0代表不挂科,1代表挂科,其他类推)


y = f(x)   

不喝酒、不逛街和学习了  是y = f(x1=0,x2=0,x3=1) 是否挂科呢???




p(y=0|x1,x2,x3) > p(y=1|x1,x2,x3) -- > 不会挂科




查看评论

C++入门解惑(0)——序

序0.为什么学习C++0.Why Shall I Learn C++?      C++作为一门较为成熟重量级的语言,吸引了许许多多编程学习者。单从市面上编程书籍中C++的书所占的比例即可见一斑。当然...
  • Kusk
  • Kusk
  • 2003-07-14 08:08:00
  • 2314

机器学习实战--基于概率论的分类方法:朴素贝叶斯

朴素贝叶斯概述 朴素贝叶斯算法就是利用我们在概率论中学习的条件概率公式来处理一些分类问题。 朴素贝叶斯 优点:在数据较少的情况下仍然有效,可以处理多类别问题 缺点:对于输入数据的准备...
  • czliuming
  • czliuming
  • 2016-04-29 15:18:47
  • 7885

基于概率论的分类方法:朴素贝叶斯

例子来自机器学习实战一书,语言是python 朴素贝叶斯 优点:在数据较少的情况下仍然有效,可以处理多类别的问题。 缺点:对于输入数据的准备方式较为敏感。 适用数据类型:标称型数据 ...
  • xia744510124
  • xia744510124
  • 2015-05-05 19:48:28
  • 543

机器学习——朴素贝叶斯(基于概率论的分类方法)

前言 分类器有时会产生错误结果,这是要求分类器给出一个最优的类别猜测结果,同时给出这个猜测的概率估计值。 1.使用概率论分布进行分类 2.学习朴素贝叶斯分类器 3.解析RSS源数据 4.使用朴素贝叶...
  • u010343650
  • u010343650
  • 2016-12-19 14:54:07
  • 1301

基于概率论的分类方法:朴素贝叶斯及CSDN_RSS源分析

本文所有代码都是基于python3.6的,数据及源码下载:传送门引言最简单的解决方法通常是最强大的,朴素贝叶斯呢就是一个很好的证明。尽管在过去的几年里机器学习取得了巨大的进步,各种优秀算法层出不穷,但...
  • u010665216
  • u010665216
  • 2017-10-14 09:12:21
  • 325

机器学习实战 - 基于概率论的分类方法:朴素贝叶斯

基于概率论,如果A事件发生的概率大于B时间发生的概率那么我们的“决策机构”就选择A事件,反则选B。...
  • a389850155
  • a389850155
  • 2017-04-24 21:11:10
  • 969

基于朴素贝叶斯算法的垃圾邮件分类方法研究

  • 2017年05月19日 15:31
  • 325KB
  • 下载

基于概率论的分类方法--朴素贝叶斯

朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设(用于分类的特征在类确定的情况下是条件独立的)的分类方法 对于给定的训练数据集,首先基于特征条件独立假设 学习输入、输出的联合概率分布;然后基于此模型,对...
  • fangafangxiaoniu
  • fangafangxiaoniu
  • 2017-12-19 11:15:32
  • 26

朴素贝叶斯与文本分类

朴素贝叶斯法(Naïve Bayes)是基于贝叶斯定理与特征条件独立假设的分类方法,属于统计学分类方法。简单来说,朴素贝叶斯分类器假设在给定样本类别的条件下,样本的每个特征与其他特征均不相关,对于给定...
  • jteng
  • jteng
  • 2016-05-25 20:33:53
  • 3850

机器学习实战:基于概率论的分类方法:朴素贝叶斯(源码解析,错误分析)

按照惯例,先把代码粘到这里from numpy import *def LoadDataSet(): postingList = [['my', 'dog', 'has', 'flea', '...
  • IAMoldpan
  • IAMoldpan
  • 2017-09-19 17:38:14
  • 562
    个人资料
    持之以恒
    等级:
    访问量: 12万+
    积分: 4750
    排名: 7668
    最新评论