机器学习算法总结4:朴素贝叶斯法

朴素贝叶斯(naive Bayes)是基于贝叶斯定理和条件独立假设的分类方法。该方法是生成方法，即通过数据学习输入/输出的联合概率分布，然后基于此模型，对于给定的输入x，求出后验概率最大的输出y。
1.模型
联合概率分布：P(X,Y)
先验概率(边缘概率)分布：

条件概率：

三者关系：条件概率=联合概率分布/先验概率。
条件概率分布有指数级数量参数，通过条件独立假设(用于分类的特征在类确定的条件下都是条件独立的)，将朴素贝叶斯法变得简单，但会牺牲一定的分类准确率。
条件独立性假设得到：

2.策略
贝叶斯公式：

朴素贝叶斯法分类时，对给定的输入x，通过学习计算后验概率分布，将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理得到：

将条件独立假设代入，得到：

所以，朴素贝叶斯分类器为：

由于，分母对所有ck都是相同的，简化可得：

后验概率最大化等价于0-1损失函数时的期望风险最小化。
3.算法
(1)极大似然估计：
极大似然估计的目的是：利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值。
原理：极大似然估计是建立在极大似然原理基础之上的参数估计方法，“模型已定，参数未知”，通过若干次试验，观察其结果，利用实验结果得到某个参数值能够使样本出现的概率最大，则称为极大似然估计。
先验概率的极大似然估计如下：

条件概率的极大似然估计如下：

朴素贝叶斯算法如下：

(2)贝叶斯估计：
使用极大似然估计会出现所要估计的样本概率为0的情况，故采用贝叶斯估计。
先验概率的贝叶斯估计如下：

条件概率的贝叶斯估计如下：

朴素贝叶斯总结：参考博客