机器学习第七章 贝叶斯分类器

目录

 

1. 章节主要内容

1）贝叶斯分类器的理论框架是什么？

2）P( c )和 P( x | c ) 如何求得

3）样本属性条件独立时的 P( x | c ) 求解

4）样本属性独依赖时的 P( x | c ) 求解

5）样本属性相关性未知时的 P( x | c ) 求解

6）训练样本不完整时的处理方法

2. 基本知识

3. 总结

---

1. 章节主要内容

贝叶斯分类器是机器学习领域应用很广、效果不错，且算法相对通俗易懂的分类器，并且章节中的一些概念和知识在其它的机器学习算法中也经常的出现，所以对贝叶斯分类器很好的理解是很有必要的。

1）贝叶斯分类器的理论框架是什么？

贝叶斯分类器的理论框架基于贝叶斯决策论（Bayesian decision theory），而贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

具体来说，若我们决策的目标是最小化分类错误率，贝叶斯最优分类器要对每个样本 x，选择能使后验概率 P( c | x )最大的类别 c 标记。可在现实任务中后验概率通常难以直接获得，贝叶斯分类器使用的策略是“生成型模型”，即使用贝叶斯定理：

P( c | x ) = P( c, x ) / P( x ) = P( c )P( x | c ) / P( x )     式(1)

将求后验概率P(c|x)的问题转变为求先验概率P(c)和条件概率P(x|c)。

2）P( c )和 P( x | c ) 如何求得

［1］P( c )

类先验概率 P(c) 表达了样本空间中各类样本所占的比例，根据大数定律，当训练集包含充足的独立同分布样本时，P(c) 可通过各类样本出现的频率来进行估计

［2］P( x | c )

因为对于类条件概率 P( x | c ) 来说，由于它涉及关于 x 所有属性的联合概率，直接根据样本出现的频率来估计将会遇到严重的困难（想象一下，d 个属性就会有 2 的 d 次方种可能的取值，在现实中，这个种类数往往大于训练样本）。针对这种情况，类条件概率的一种常用策略是先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。对于条件概率 P( x | c )，我们可以采用极大似然估计来根据数据采样来估计概率分布参数。对参数 t 进行极大似然估计，就是试图在 t 所有可能的取值中，找到一个能使数据出现的“可能性”最大的值。

需注意的是，这种参数化的方法虽然能使类条件概率估计变得相对简单，但估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实数据分布。

极大似然估计是对类条件概率的分布形式进行假设，然后通过计算来对概率分布参数进行近似的方法，其是在对联合概率上的求解。但是，我们要对数据进行准确分类是否真的需要要进行这么复杂的求解过程呢？本章针对样本属性间的独立性不同介绍了不同的使用贝叶斯决策论构建分类器的方法，下边我将一一进行介绍。

3）样本属性条件独立时的 P( x | c ) 求解

［1］朴素贝叶斯分类器

朴素贝叶斯分类器（naive Bayes classifier）是采用了“属性条件独立性假设”的一种分类器：其通过对已知类别，假设所有属性相互独立，来避开联合概率这个障碍。在属性条件独立的假设基础下，类条件概率可表示为：

P( x | c ) = P( x1 | c ) * P( x2 | c ) * ... * P( xd | c )