朴素贝叶斯法

1、概要

朴素贝叶斯法是典型的生成学习方法，由训练数据学习联合概率分布p(x,y)，然后求得后验概率分布p(y|x)。先学习先验概率分布p(Y)，条件概率分布p(X|Y)，后得到联合概率分布，p(X,Y) =  p(X|Y)*p(Y)。学习概率分布的方法用到的是极大似然估计和贝叶斯估计。贝叶斯估计主要是为了避免概率为0的出现。

朴素贝叶斯法的基本假设是条件独立性，

朴素贝叶斯法利用贝叶斯定理和学习到的联合概率模型进行分类预测。将输入x分到后验概率最大的类y。后验概率最大化等价于选择0-1损失函数时的期望风险最小化。

2、朴素贝叶斯法的分类算法

 

极大似然估计方法中，先验概率的估计和条件概率的分布如下。

贝叶斯估计方法中的先验概率和条件概率的估计如下。其中，K为y的类别个数，例子中为1，-1，K为2;S_j为第j类特征的类别个数，例子中都为3.

 

3、具体实例

极大似然估计的结果

贝叶斯估计的结果