机器学习（四）--- 朴素贝叶斯

目录

概述

朴素贝叶斯算法原理

代码练习

1、留言分类

2、垃圾邮件分类

3、My Data

Reference

---

概述

朴素贝叶斯法(Naive Bayes Classifier)是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布（朴素贝叶斯法这种通过学习得到模型的机制，显然属于生成模型）；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出 y。

首先 我们先来了解一下部分概念

比如我们已经知道袋子里面有 10 个球，不是黑球就是白球，其中 6个是黑球，那么把手伸进去摸一个球，就能知道摸出黑球的概率是多少。但这种情况往往是上帝视角，即了解了事情的全貌再做判断。

但是 我们事先不知道袋子里黑球和白球的比例 通过我们后面摸出来球的颜色能判断袋子里黑白球的比例吗

先验概率：
通过经验来判断事情发生的概率，比如说“贝叶死”的发病率是万分之一，就是先验概率。

后验概率：
后验概率就是发生结果之后，推测原因的概率。比如说某人查出来了患有“贝叶死”，那么患病的原因可能是 A、B 或 C。**患有“贝叶死”是因为原因 A 的概率就是后验概率。它是属于条件概率的一种。

条件概率：
事件 A 在另外一个事件 B 已经发生条件下的发生概率，表示为 P(A|B)。比如原因 A 的条件下，患有“贝叶死”的概率，就是条件概率。
 

接下来了解一下机器学习中的判别式模型和生成式模型

在机器学习中，对于有监督学习可以将其分为两类模型：判别式模型和生成式模型。简单地说，判别式模型是针对条件分布建模，而生成式模型则针对联合分布进行建模。

简单来说就是

• 对于判别式模型，只需要学习二者差异即可。比如说好瓜和坏瓜  比如好瓜的藤比坏瓜更绿一些。
• 而生成式模型则不一样，需要学习好瓜的特征是什么样，坏瓜的特征是么样。有了二者的特征以后，再根据各自的特征去区分。

生成式模型：由数据学习联合概率分布P(X,Y), 然后由P(Y|X)=P(X,Y)/P(X)求出概率分布P(Y|X)作为预测的模型。该方法表示了给定输入X与产生输出Y的生成关系

判别式模型：由数据直接学习决策函数Y=f(X)或条件概率分布P(Y|X)作为预测模型，即判别模型。判别方法关心的是对于给定的输入X，应该预测什么样的输出Y。
 

而这次实验所学的贝叶斯就是生成式模型

对每一个类建立一个模型，有多少个类别，就建立多少个模型。比如说类别标签有｛好瓜，坏瓜｝，那首先根据好瓜的特征学习出一个好瓜的模型，再根据坏瓜的特征学习出坏瓜的模型，之后分别计算新样本  跟两个类别的联合概率  ，然后根据贝叶斯公式：

分别计算，选择最大的作为样本的分类

 

朴素贝叶斯算法原理

贝叶斯公式 

在贝叶斯公式中，P(A)称为"先验概率"（Prior probability），即在B事件发生之前，对A事件概率的一个判断。

P(A|B)称为"后验概率"（Posterior probability），即在B事件发生之后，对A事件概率的重新评估。

<