朴素贝叶斯分类

分类概念

• 分类：找出描述和区别数据类或概念的模型，以便能够使用模型预测类标号未知的对象的类标号
• 一般过程：
  • 学习阶段
    • 建立描述预先定义的数据类或概念集的分类器
    • 训练集提供了每个训练元组的类标号，分类的学习过程也成为监督学习
  • 分类阶段
    • 使用定义好的分类器进行分类的过程

概念区分：

1. 分类与预测
   • 分类是预测分类（离散、无序）标号
   • 预测建立连续值函数模型，来预测一个数值
2. 分类与聚类
   • 分类是有监督学习，提供了训练元组的类标号
   • 聚类是无监督学习，不依赖有类标号的训练实例

朴素贝叶斯分类

介绍

• 一种后验概率：是事先观察不到的一个概率值

$$\begin{gathered} P(h|D)=\frac{P(D|h)P(h)}{P(D)} \\ P(h|D)表示在D的情况下，h的概率是多少 \end{gathered}$$

定义分类器

$$\begin{gathered} 定义： \\ P(h|D)=\frac{P(D|h)P(h)}{P(D)} \\ P(h|D):h的后验概率 \\ P(D|h):h的似然概率-从训练集中已知 \\ P(h):h的先验概率 \\ P(D):D的先验概率 \\ D:待测试数据 \\ h:假设类别 \end{gathered}$$

我们对其提出多个假设——h1,h2,h3…

哪个概率更大，我们就认为D属于哪个类别更合理

• 极大后验假设定义

  学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验假设

$$\begin{gathered} P(h_1|D)=\frac{P(D|h_1)P(h_1)}{P(D)} \\ P(h_2|D)=\frac{P(D|h_2)P(h_2)}{P(D)} \\ P(h_3|D)=\frac{P(D|h_3)P(h_3)}{P(D)} \\ {h}_{MAP}=\underset{h\in H}{\max }P(h|D) \\ =\underset{h\in H}{\max }\frac{P(D|h)P(h)}{P(D)} \\ =\underset{h\in H}{\max }P(D|h)P(h) \end{gathered}$$

• 对象D是一个多维向量

  eg:一个收入中等，信用度良好的青年爱好游戏顾客，是否会购买电脑

  从中可以得到4个维度特征，即该对象时4维向量

• 多维对象——联合概率

$$\begin{gathered} \bullet 已知：对象D是由多个属性组成的向量(向量维度根据特征数目) \\ D=<a_1,a_2,...,a_n> \\ \bullet 目标：h_{MAP}=\underset{h\in H}{\max }P(h|D) \\ {h}_{MAP}=\underset{h\in H}{\max }P(h|<a_1,a_2,...,a_n>) \\ \underset{h\in H}{\max }P(<a_1,a_2,...,a_n>|h)P(h) \end{gathered}$$

• 问题：当维度过高时，可用数据会变得很稀疏，难以获得结果

• 对于联合概率的极大开销，我们提出一个假设

  假设每个属性都是独立同分布的

  在独立同分布的假设下，我们的联合概率变成各个属性条件概率的连乘

$$\begin{gathered} \bullet 假设D的属性a_i之间相互独立 \\ P(<a_1,a_2,...,a_n>|h)=\prod _i^{n}P(a_i|h) \\ {h}_{MAP}=\underset{h\in H}{\max }P(h|<a_1,a_2,...,a_n>) \\ =\underset{h\in H}{\max }P(<a_1,a_2,...,a_n>|h)P(h) \\ =\underset{h\in H}{\max }\prod _i^{n}P(a_i|h)p(h) \end{gathered}$$

• 优点:
  • 降低计算开销
  • 如果D的属性之间不满足相互独立(即存在一定的相关性)，我们就可以使用相关性计算减少属性再使用朴素贝叶斯，朴素贝叶斯分类的结果是贝叶斯分类的近似

朴素贝叶斯分类案例

得到相应的似然概率

在购买电脑的情况(这个就是假设h)下：

• 青年的似然概率
• 收入中等的似然概率
• 爱好的似然概率
• 信用值为中的似然概率

即得到 测试对象对应属性的 在测试集中 在假设h下的似然概率

似然概率*先验概率=后验概率

则得出结论，该顾客更有可能购买计算机

连续数据解决概率

问题：当数据是连续的时候，我们很难通过计数统计，得出相应的概率

方法一：数据离散化

• 等宽法、等频法、聚类等方法，将其离散化

方法二：假设正态分布，采用密度函数进行计算似然概率

• ！！！注意，似然概率计算之后要乘以先验概率

在上述例子中，收入是{高、中、低}离散化的

若收入变成连续数值

1. 假设不同类别收入分别服从不同的正态分布

   在这个例子中表现为，在购买和不购买两个类别中，收入这个数值服从不一样的正态分布

$$P(X_i|c_j)=\frac{1}{\sqrt{2\pi {\sigma }_{ij}^2}}{e}^{-\frac{(x_i-{\mu }_{ij}{)}^2}{2{\sigma }_{ij}^2}}$$

2. 利用参数估计n组正态分布期望和方差

   这个n取决于最终是多少个类别

   期望为$\mu$，方差为${\sigma }^2$

总结

• 本质上是同时考虑了先验概率和似然概率的重要性
• 特点
  • 属性可以离散，也可以连续
  • 数学基础坚实，分类效率稳定
  • 对缺失和噪声数据不太敏感
  • 属性不相关情况下，分类效果很好