统计学习方法---朴素贝叶斯

朴素贝叶斯也是一种用于分类的算法

回顾统计学习模型的几种分类：
按照模型不同来分

另一种分类方法

生成模型就是x，y的条件分布除以x的边际分布
把三者拿到一起来讲（因为判别模型和决策函数相同类型）

首先是第一种形式：不考虑x，y的随机性
第二中形式：只考虑y的随机性，给定x后，y有随机分布
第三种：x，y的随机性都要考虑，因为不但有y的条件分布，还有x的边际分布和xy的联合分布
像第二章感知机模型就是决策函数
朴素贝叶斯就是第三种形式

朴素贝叶斯

拿考试举例：

先给定每个生源地考上人数的分布，Y=c1是来自河北，Y=c2是来自北京

先验：考上的概率

相互独立条件概率可以拆开来

预测的时候分母是不会变得，因为已经拿到生源地信息：

取预测y等于多种情况时的概率，最大后验概率

朴素贝叶斯的参数估计

当训练集里实例比较少，分类类别比较多的时候，就可以能出现有其中一种类别可能没有对应训练集中的实例，此时参数估计的效果就会比较差。此时用贝叶斯估计比较好：
分子加一项

为了使得其加起来等于1：
分母也对应的加上一项