统计学习笔记六----朴素贝叶斯

前言

　　朴素贝叶斯（naive Bayes）算法是基于贝叶斯定理和特征条件独立假设的分类方法，它是一种生成模型！
　　对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
　　朴素贝叶斯算法实现简单，学习与预测的效率都很高，是一种常用的方法。

条件独立性的假设

朴素贝叶斯法对条件概率分布作了条件独立性的假设：假设对于样本用于分类的特征，在类确定的条件下都是条件独立的（特征是条件独立的）。这是一个较强的假设，朴素贝叶斯法也由此得名，(朴素：条件独立性假设)。这一假设使得朴素贝叶斯算法变得简单，但是有的时候会牺牲一定的分类准确率。

具体地，条件独立性假设是：

假设每一个样本X的特征为,那么在这里的条件独立性假设是指，之间相互独立互不影响，即：

如果没有条件独立性这条假设的存在，则会是：

注意，在上面公式的推导过程中我们用到了以下公式：

但是在这里，我们假设了特征条件独立性，所以我们可以的得到公式（4.3）。

后验概率

条件概率：

Bayes解释：

P(A):A的先验概率，不在任何条件下（没有任何先验知识下），A事件的概率
P(A|B):A的后验概率，在已知B的条件下（有了B的先验知识），A事件的概率
P(B|A):B的后验概率
P(B)：B的先验概率，在此也常被称为标准化常量。

实际上贝叶斯公式就是在以上条件概率的基础上推导出来的。我们用Bayes来描述上述公式：

后验概率=（相似度*先验概率）/标准化常量

P(B|A)在此称为可能性函数，目的是使得预估计概率更接近于真实概率。
我们可以简化为：

后验概率=先验概率*调整因子

　　朴素贝叶斯方法分类的时候，对给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出。
　　后验概率计算根据贝叶斯定理进行：

后验概率最大化的含义

朴素贝叶斯方法将实例分到后验概率最大的类中，这等价于期望风险最小化，我们可以证明一下。

假设选择0-1损失函数：

在一章的时候，我们已经介绍过损失函数的期望风险为：

这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数或者期望损失。

根据P(X,Y)=P(Y|X)P(X)，我们可以得到以下公式：

为了使得期望风险最小化，我们只需对X=x逐个极小化，由此得到：

这样一来，根据期望风险最小化准则就得打了后验概率最大化准则：

实际上这就是朴素贝叶斯所采用的判别类的原理。

贝叶斯分类算法

极大似然估计

在此有点像样本估计总体的感觉，前提条件是样本容量足够大，当样本容量不够大的时候，就会有误差存在。

贝叶斯估计

用极大似然估计可能会出现所要估计的概率值为0的情况，又因为我们的条件独立性假设，这时会影响到后验概率的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计。具体地，条件概率的贝叶斯估计是：

拓展

　　计算各个划分样本的条件概率P(xi|Y)是朴素贝叶斯分类的关键性步骤，当特征属性为离散值的时候，只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计P(xi|Y)，然后计算P(x1|Y)P(x2|Y)…P(xn|Y)就可以得到P(X|Y)。问题是当特征属性是连续值的时候我们该怎么办？
　　当特征属性为连续值的时候，通常假定其值服从高斯分布（也称为正态分布）。即：
　　

　　则P(xi|Y)为：
　　

因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，带入上述公式即可得到需要的估计值。

《完》

所谓的不平凡就是平凡的N次幂。
                         -------By Ada